米PyTorch Foundationは、大規模言語モデル（LLM）の学習と推論を高速化するライブラリ「torchao」を9月26日（現地時間）に公開した。torchaoは3条項BSDライセンスで公開しているオープンソースソフトウェア。
torchaoは、データをより狭いビット幅で表現する「量子化」や、不要なデータを間引く「スパース化」によって、扱うデータの総量を圧縮してLLMの学習と推論を高速化する。推論時に有効な量子化アルゴリズムや、学習時に有効な量子化とスパース化のアルゴリズムなどを実装した関数を揃えている。検証では、10倍も高速化した例があったという。
PyTorch Foundationは、機械学習関連のさまざまなオープンソースソフトウェアとの組み合わせでtorchaoが正しく動作するよう検証と改良を続けており、一部のソフトウェアはtorchaoを取り込んでいるとしている。
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
