AWSは10月30日（現地時間）、Amazon SageMaker AI推論のリアルタイムエンドポイントでGPUパーティショニングをサポートしたと発表した。NVIDIA Multi-Instance GPU（MIG）技術により1つのGPUを最大7つの独立したパーティションに分割し、複数のモデルを実行できる。
各パーティションには専用のメモリとコンピューティングリソースが割り当てられる。リソースはハードウェアで分離されるため、特定のモデルの負荷が高まっても、同じGPU上の他のモデルのメモリやスループットを消費しない。従来は埋め込みモデルや分類モデルなど小～中規模のモデルでも、モデルごとにアクセラレーター全体を割り当てる必要があった。
設定は推論コンポーネントをホストするエンドポイントの作成時に行う。各モデルは引き続き名前で呼び出せるため、アプリケーションコードの変更は不要だ。
対応インスタンスはP4d、P5、G7、G7eで、米国東部（バージニア北部、オハイオ）、米国西部（オレゴン）、アジアパシフィック（シンガポール、東京）、欧州（フランクフルト、アイルランド）の各リージョンで利用できる。
- 関連リンク
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営する開発者のための情報メディアです。日々の開発に取り組むエンジニアやテクノロジーを学びたい方に向けて、プログラミングやAI活用、開発ツール、エンジニアの学びとキャリアに関する記事をお届けしています。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
この記事は参考になりましたか？
この記事をシェア
