米Amazon Web Servicesは、Amazon Bedrockのナレッジベースが、完全な応答を待つことなく大規模言語モデル（LLM）が生成するストリーミング応答を受け取れるようになる、RetrieveAndGenerateStream APIのサポートを12月1日（現地時間）に開始した。
Amazon Bedrockのナレッジベースは、フルマネージドの検索拡張生成（RAG）ワークフローを提供し、企業のデータソースからコンテキスト情報を読み込むことによって、高精度で低レイテンシ、安全なカスタム生成AIアプリケーションの作成を可能にしている。
RAGワークフローには、テータストアのクエリ、関連するコンテキストの収集、応答を要約するためのLLMへのクエリ送信といった手順が含まれる。応答生成はこのワークフローにおける最終手順であり、応答生成で使用される基盤モデルのレイテンシに応じて、数秒程度かかる場合がある。
今回の、Amazon BedrockのナレッジベースにおけるRetrieveAndGenerateStream APIのサポートは、レイテンシの削減を目的として行われており、ストリーミング応答によって最初の応答におけるレイテンシが短縮され、Amazon Bedrockのナレッジベースからのよりシームレスで応答性の高いエクスペリエンスを享受できるようになる。
RetrieveAndGenerateStream APIは、既存のすべてのAmazon Bedrockのナレッジベース対応リージョンにてサポートされている。
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
