Hugging Faceは3月24日、「hf-mount」ツールを公開した。
hf-mountは、同社のHugging Face Storage Bucketsやリポジトリをローカルファイルシステムとしてマウントできるツール。あらゆるモデルやデータセットリポジトリ(読み取り専用)でも動作可能。
hf-mountはFUSEまたはNFS経由でローカルファイルシステムとして公開し、ファイルは初回読み込み時に遅延ロードされるため、コードが実際にアクセスするバイト数のみがネットワークに送信される仕組み。
リポジトリ全体をダウンロードせずにモデルとデータセットを読み込みたい場合や、トレーニングや推論などの読み込み負荷の高い機械学習ワークロード、ディスク容量が限られている環境に適している。
インストールの手順を含む詳細はブログポストから確認できる。
- 関連リンク
この記事は参考になりましたか?
- この記事の著者
-
CodeZine編集部(コードジンヘンシュウブ)
CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
