Modular、わずかな変更でAI推論のパフォーマンスを大幅に向上できる「Modular Accelerated Xecution（MAX）」のLinux向けシステムをプレビュー

　米Modularは、優れたAI推論パイプラインのパフォーマンス、プログラマビリティ、移植性を実現するツールとライブラリのセットである、「Modular Accelerated Xecution（MAX）」のLinux向けシステムを、2月29日（現地時間）に開発者向けプレビューとして公開した。

　MAXは、AI導入にあたっての厳しいニーズにも応えられるよう、低遅延、高スループットのリアルタイム推論パイプラインを実稼働環境へ導入するために必要なすべてを提供し、MAX Engine、MAX Serving、Mojoという3つの主要コンポーネントで構成されている。

　MAX Engineは、PyTorch、TensorFlowやMistral、Stable Diffusion、Llama2、WavLM、DLMR、ClipVitといったONNXモデルをサポートする最先端のAIコンパイラおよびランタイムシステム。

　MAX Servingは、MAX Engineの効率的なサービングラッパであり、NVIDIA Tritonなど現在のAIサービングシステムとのシームレスな相互運用性と、Kubernetesなどコンテナエコシステムへのスムーズなデプロイメントを可能にする。

　Mojoは、AI開発のためにゼロから構築されたプログラミング言語。あらゆるハードウェアにおいて、非常に優れたパフォーマンスとプログラマビリティを実現する、最先端のコンパイラテクノロジを備えている。

　MAXは、AI開発者の現在の状況に応えるよう構築されており、現在のモデルのパフォーマンスを直ちに向上させるとともに、既存のツールチェーンおよびサービングインフラストラクチャとシームレスに統合して、最小限のコード変更でその恩恵を実感できる。

　具体的には、PythonまたはC APIを使用して、既存のPyTorch、TensorFlow、ONNXによる推論呼び出しをMAX Engineによる推論呼び出しへ置き換えるだけで、パフォーマンスの向上が実現する。さらに、NVIDIA Triton Inference ServerのバックエンドとしてMAX EngineをMAX Servingでラップすることによって、実稼働品質のデプロイスタックを実現できる。