CodeZine(コードジン)

特集ページ一覧

Amazon SageMaker、機械学習のコストを最大80%節約する新機能をサポート

  • LINEで送る
  • このエントリーをはてなブックマークに追加
2021/03/23 08:00

 アマゾン ウェブ サービス ジャパンは、Amazon SageMakerが低レイテンシーの推論のためにリアルタイムエンドポイントに複数のコンテナをデプロイし、リクエストごとに呼び出す機能をサポートしたことを、3月16日に発表した。

 今回発表された機能により、単一エンドポイントで最大5つの異なる機械学習(ML)モデルとフレームワークを実行し、最大80%のコストを節約できる。

 エンドポイントにデプロイする必要があるトレーニング済みモデルとともにコンテナのリストを指定し、モデルが個別にアクセスされるようにする「直接」推論実行モードを選択することで、使用することが可能。

 特定のモデルに対して推論を行う場合は、エンドポイントを呼び出し、リクエストヘッダーでコンテナの名前を指定する。条件キーを指定することで、直接呼び出しモードで各コンテナへの推論リクエストを保護することができる。また、Amazon CloudWatchでコンテナごとのメトリクスを取得することもできる。

 推論を行うときにリクエストを事前/事後処理する場合や、MLモデルのセットを順次実行する場合は、推論ごとにマルチコンテナエンドポイントでコンテナを順番に実行することもできる。なお、この機能は、デフォルトの動作として既にサポートされており、推論実行モードを「シリアル」に設定することで有効になる。

関連リンク

  • LINEで送る
  • このエントリーをはてなブックマークに追加

あなたにオススメ

All contents copyright © 2005-2021 Shoeisha Co., Ltd. All rights reserved. ver.1.5