Python向けオープンソース機械学習ライブラリ「PyTorch 2.0」が正式リリース

　PyTorch Foundationは、オープンソースのPython向け機械学習ライブラリPyTorchの最新バージョンとなる「PyTorch 2.0」を、3月15日（現地時間）にリリースした。

　「PyTorch 2.0」には、PyTorch Transformer APIのより高性能な実装となるAccelerated PT2 Transformerが含まれ、以前はBetter Transformerと呼ばれていたfastpath推論アーキテクチャを拡張した、scaled dot product attention（SPDA）用のカスタムカーネルアーキテクチャを使用したトレーニングと推論がサポートされている。

　さらにメインAPIとして、モデルをラップしてコンパイル済みのモデルを返すtorch.compile（ベータ版）が実装された。torch.compileは、Pythonフレーム評価フックを使用してPyTorchプログラムを安全にキャプチャするTorchDynamo、PyTorchのautogradエンジンを事前の後方トレースを生成するためのトレースautodiffとしてオーバーロードするAOTAutograd、PyTorchオペレータをPyTorchバックエンドを構築するためのプリミティブオペレータにおけるクローズドセットに正規化するPrimTorch、複数のアクセラレータとバックエンド用の高速コードを生成するディープラーニングコンパイラTorchInductorの、4つのテクノロジーが基盤となっている。

　ほかにも、MacプラットフォームにおいてGPUで高速化されたPyTorchトレーニングを提供するPyTorch MPSバックエンド（ベータ）、入力と使用中のハードウェアに応じてシームレスに適用できる複数の実装が含まれるscaled dot product attention関数のバージョン2.0（ベータ）、コンポーザブルなvmap（ベクトル化）とautodiff変換を提供するライブラリfunctorch（ベータ）、バックエンドをオプションの引数に変更するinit_process_group() APIの改良版となるDispatchable Collective（ベータ）など、数多くの機能追加が行われた。