高速コンパイラを搭載した「PyTorch 2.0」を公開、正式版は2023年3月に登場の予定

　PyTorch Foundationは、機械学習フレームワーク「PyTorch」の新版「PyTorch 2.0」を12月2日（現地時間）、開発者会議「PyTorch Conference」で発表した。PyTorch 2.0はまだ正式版ではないが、Nightly Buildの形で入手できる。正式版の公開は2023年3月初旬を予定している。PyTorchは修正BSDライセンスで公開しているオープンソース・ソフトウェアだ。

　PyTorchは2018年12月にバージョン1.0.0が登場して以来、マイナー・バージョンアップを繰り返してきた。現在、PyTorch 1.xの最新バージョンは1.13となっている。今回発表した「PyTorch 2.0」は、4年ぶりのメジャー・バージョンアップとなる。

　そしてPyTorch 2.0は、久々のメジャー・バージョンアップにふさわしい新機能を搭載している。新開発の高速コンパイラだ。PyTorchのソースコードは主にC＋＋とPythonで記述してあるが、処理速度を稼ぐ必要がある部分はC＋＋で記述してある。PyTorch Foundationは、PyTorch 2.0の新コンパイラについて、「C＋＋で記述していたものを、Pythonで書き直そうという動きが起こるかもしれない」と表現している。

　新コンパイラは、ソースコード中で「torch.compile()」という関数を使った部分でのみ動作する。特に指定が内部分は従来のコンパイラでコンパイルする。このことからPyTorch Foundationは、新コンパイラには「100％の後方互換性がある」としている。

　PyTorch Foundationは、新コンパイラの性能を確認するために、オープンソースで公開している学習モデル163件を使用して、ベンチマークテストを実行した。163件のモデルは、画像分類、物体認識、画像生成、自然言語処理、質問への回答、時系列認識、レコメンダーシステム、強化学習と、機械学習の幅広い領域をカバーするように選んだ。

　ベンチマークテストの結果、163件のモデルのうち93％は新コンパイラで動作した。動作したモデルは、従来のコンパイラに比べて43％速く動いたという。ちなみに、ベンチマークではNVIDIAのデータセンター向けGPU「NVIDIA A100」を使用した。PyTorch Foundationは、2023年3月初旬に予定している正式公開までに、新コンパイラの性能とスケーラビリティを高めていきたいとしている。