Bedrockのグローバルクロスリージョン推論
AWSでは、基盤モデルへのリクエストを複数のAWSリージョンに自動で分散させることで、特定のリージョンへの負荷集中を避け、処理能力と安定性を向上させるクロスリージョン推論機能が提供されています。先日クロスリージョン推論機能の拡張であるグローバルクロスリージョン推論機能のサポートが発表されました。これにより、基盤モデルへのリクエストが自動的にAWSの全商用リージョンに分散され、スループットの向上が期待できます。これは、特定のリージョンでモデルの処理能力（キャパシティ）が逼迫している場合でも、利用可能な他のリージョンへリクエストが自動的にルーティングされるためです。昨今課題となっているGPU不足に対し、AWSのグローバルなインフラ全体で負荷を分散する有効な解決策の一つと言えるでしょう。マネジメントコンソールで確認すると、下記画像のようにBedrockのクロスリージョン推論メニューからグローバルクロスリージョン推論用のプロファイルが作成されているはずです。
パフォーマンス面で非常に魅力的な機能ですが、セキュリティに厳しい環境下での利用にあたっては、注意が必要です。例えば、全社的に利用できるリージョンを制限している場合に、クロスリージョン推論を利用すると、制限しているリージョンへリクエストが送信され、処理がブロックされます。
クロスリージョン推論プロファイルの送信先リージョンが SCPs（Service Control Policies：AWS Organizationsで利用できる、組織内のAWSアカウント権限を一元的に管理・制限するためのポリシー）でブロックされている場合、他のリージョンが許可されたままであってもリクエストは失敗します。
Bedrockでのクロスリージョン推論プロファイル経由でのリクエストはリージョン制限の対象外とするといった対策が必要になります。具体的には下記のように推論プロファイル経由のリクエストであれば、制限がかからないような記載を行う必要があります。
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Deny",
"Action": [
"*"
],
"Resource": [
"*"
],
"Condition": {
"StringNotEquals": {
"aws:RequestedRegion": [
"許可するリージョン1",
"許可するリージョン2",
・・・
]
},
"ArnNotLike": {
"bedrock:InferenceProfileArn": [
"arn:aws:bedrock:許可するリージョン1:*:inference-profile/*",
"arn:aws:bedrock:許可するリージョン2:*:inference-profile/*",
"arn:aws:bedrock:許可するリージョン1:*:application-inference-profile/*",
"arn:aws:bedrock:許可するリージョン2:*:application-inference-profile/*",
・・・
]
}
}
}
]
}
上記はあくまで例であり、実際の運用に当たっては例えばグローバルサービスに関する例外設定など、環境に応じた調整が必要になりますので、ご注意ください。
まとめ
今回は、Amazon QおよびBedrockの最新アップデートを紹介しました。生成AIに関するサービスは日進月歩で進化しており、AWSをはじめとして各社から様々な発表がなされています。今後も本連載で注目すべきアップデートを紹介していきたいと思います。
本記事が皆様のAWS活用や開発改善の参考になれば幸いです。
