PyTorch Foundation、量子化とスパース化でLLMの学習と推論を高速化するライブラリ「torchao」公開

　米PyTorch Foundationは、大規模言語モデル（LLM）の学習と推論を高速化するライブラリ「torchao」を9月26日（現地時間）に公開した。torchaoは3条項BSDライセンスで公開しているオープンソースソフトウェア。

　torchaoは、データをより狭いビット幅で表現する「量子化」や、不要なデータを間引く「スパース化」によって、扱うデータの総量を圧縮してLLMの学習と推論を高速化する。推論時に有効な量子化アルゴリズムや、学習時に有効な量子化とスパース化のアルゴリズムなどを実装した関数を揃えている。検証では、10倍も高速化した例があったという。

　PyTorch Foundationは、機械学習関連のさまざまなオープンソースソフトウェアとの組み合わせでtorchaoが正しく動作するよう検証と改良を続けており、一部のソフトウェアはtorchaoを取り込んでいるとしている。