Amazon Bedrockがプロンプトキャッシュのサポートを開始
Bedrockより、コストやレスポンスタイムの改善に役立つプロンプトキャッシュの機能がリリースされました。この機能により、頻繁に利用されるプロンプトが内部でキャッシュされ、コストやレスポンスタイムを改善できます。
Bedrockからの回答ではなく、プロンプトがキャッシュされると聞いて、少し違和感を覚える方もいるかもしれません。一般的にキャッシュという単語をきくと、インプットではなく、アウトプットに対して効果を持つものが多いからです。
生成AIを使ったチャットアプリでは、本当の質問をする前に、事前情報として詳細な前提条件やドキュメントをプロンプトで提示することも多く、こうした際にこのプロンプトキャッシュは効果的です。たとえば、プログラムのソースコードに対して何度も質問する際などに有効です。キャッシュされたプロンプトは内部で高速に処理され、入力トークンとしてカウントされなくなりますので、レスポンスとコスト削減の両方の面で効果があります。一度キャッシュされると、5分間キャッシュされ、ヒットするたびにキャッシュ期間は延長されていきます。
プロンプトキャッシュは現在プレビューで、北部バージニアおよびオレゴンリージョンのみで有効です。また利用できるモデルやキャッシュされるトークンサイズは下表の通りです。詳細は公式ドキュメントを参照いただければと思います。
| モデル | トークンサイズ |
|---|---|
| Amazon Nova Micro v1 | 1トークンから |
| Amazon Nova Lite v1 | 1トークンから |
| Amazon Nova Pro v1 | 1トークンから |
| Claude 3.5 Haiku | 2,048トークンから |
| Claude 3.5 Sonnet v2 | 1,024トークンから |
Open AI社などでも提供が開始されているプロンプトキャッシュの機能ではありますが、とくに意識することなく有効化されることから、実質的な値下げと感じられるケースも多いかと思います。こちらの機能もいち早いGAが望まれますね。
Amazon Bedrock インテリジェントプロンプトルーティングのサポートを開始
生成AIをアプリケーション内部で利用する場合には、さまざまな質問に適切に回答できるように複数のモデルを並べて利用することが一般的になっています。その中でも質問の複雑度に応じて、コストの観点で最適なモデルの選択がされるインテリジェントプロンプトルーティングの機能がリリースされました。
回答の品質が落ちない中でもっともコスト効率のよいモデルを選択してくれる機能であり、これまでは同じようなことを実現しようとすると、自力での作りこみが必要で、実装のハードルが高い機能でした。
この機能も残念ながら、現時点はプレビュー機能です。実際の画面では下記画像のように複数のモデルへのルーティングが設定でき、デフォルトのモデルも設定が可能なようです。
高度な機能を簡単に実装できるこちらの機能も開発者目線で非常にありがたい機能だと思いますので、この機能のGAも心待ちにしています。
