AWSは2月16日（現地時間）、Amazon SageMaker InferenceにおいてカスタムAmazon Novaモデルのサポートを一般提供開始したと発表した。
従来、SageMaker Inferenceではオープンウェイトモデルの柔軟なカスタマイズや運用が可能だったが、新たにNova Micro、Nova Lite、Nova 2 Liteの各モデルにも対応した。同機能により、ユーザーはAmazon SageMaker Training JobsやAmazon HyperPodで独自にトレーニングしたNovaモデルを、SageMakerのマネージドなインフラストラクチャ上へシームレスにデプロイできる。
対応インスタンスタイプは、EC2 G5・G6およびP5インスタンスとなり、GPUの最適活用によるコスト削減、自動スケーリング、推論パラメータ設定など、プロダクション向けの要件に合わせた細かな制御が可能だ。
また、インスタンス種類・自動スケーリングのポリシー、コンテキスト長、同時実行数、バッチサイズなど高度な設定が行えるため、レイテンシ・コスト・精度の最適化を図ることができる。SageMaker StudioやSDKからノーコード・少コードで、トレーニング済みNovaモデルのデプロイやエンドポイント作成が可能だ。
同機能は、米国東部（バージニア北部）、西部（オレゴン）リージョンで利用できる。従量課金制で、利用したインスタンス分のみの支払いとなる。
- 関連リンク
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
