Microsoft、ブラウザ内推論を可能にするONNX Runtime Webの提供を開始

　米Microsoftは、機械学習モデルを表現するためのオープン スタンダードであるONNXモデルを運用環境にデプロイするためのハイパフォーマンス推論エンジンであるONNX Runtimeの新機能として、ONNX Runtime Webの提供を9月2日（現地時間）に開始した。

　ONNX Runtimeは、AI開発者がさまざまなハードウェアおよびソフトウェアプラットフォームでモデルを実行するための使いやすいエクスペリエンスを提供することを目的としており、TensorFlow、PyTorch、SciKitLearnといった最も一般的なトレーニングフレームワークをサポートしている。バージョン1.5以降は、サーバ側の推論を高速化するだけでなく、ONNX Runtime for Mobileが利用可能になった。

　今回、提供が開始されたONNX Runtime Webは、ブラウザ内の推論に重点を置いた、ONNX Runtime 1.8リリースの新製品であり、ブラウザ内での推論を行えるようにすることで、Webアプリケーションのクロスプラットフォームでの移植性を高められるとともに、サーバとクライアントの通信を減らし、ライブラリの追加やドライバのインストールを行うことなく配布エクスペリエンスが簡素化され、パフォーマンスが向上する。

　ONNX Runtime Webでは、WebAssembly（WASM）とWebGLバックエンドを個別に使用して、CPUとGPUの両方でブラウザのモデル推論を高速化できる。CPU推論の場合は、Emscriptenを使用してネイティブONNX Runtime CPUエンジンをWASMバックエンドにコンパイルする。また、WebGLはGPUで高いパフォーマンスを実現するために用いられる。