AWSが生成系AIに本格参入！ Amazon BedrockなどAWSのAI関連の最新アップデート情報

第11回　Amazon Bedrock、Amazon Titan、生成系AI用新インスタンス、Amazon CodeWhisperer、Jupyter拡張機能

生成系AI用の新しいインスタンスが登場

　AWSの機械学習特化型アクセラレータを搭載した新しいインスタンスが発表されました。

• ネットワーク集約型の生成AIモデル向けに最適化されたAmazon EC2 Trn1nインスタンスが一般提供開始されました
• 生成AI用に最適化されたAmazon EC2 Inf2インスタンスが一般提供開始されました

　アクセラレータとは、GPUなどの専用ハードウェアを使用して処理を大幅に高速化するものです。

　AWSでも独自でアクセラレータ開発を実施しており、クラウド上での機械学習のトレーニングや推論の性能やコストを最適化するアクセラレータを提供しています。

機械学習特化型アクセラレータ搭載の新インスタンス

　トレーニング用のインスタンスとして、AWS Trainiumアクセラレータを搭載した、Amazon EC2 Trn1nインスタンスが新しく提供されています。

　自社に大量のデータがあり、自社に特化した大規模なモデルを作りたいというケースもあると思います。大規模なモデルのトレーニングにかかる時間とコストは非常に大きなものになりますが、Trn1nインスタンスを利用することで、性能とコスト両面の問題を解決に役立ちそうです。

　また、推論用のインスタンスとして、AWS Inferentia2アクセラレータを搭載した、Amazon EC2 Inf2インスタンスが新しく提供されています。

　機械学習ワークロードにおいて、コストの大半は推論が占めます。これは、モデルのトレーニングは定期的（多くても日次～月次単位）に実施する一方で、推論はリアルタイムに数万以上のリクエストを処理することが求められるからです。

　そのため、ビジネス効果を最大化するためには、推論の性能を最大限発揮させつつ、コストを削減することが非常に重要になります。