米Amazon Web Servicesは、Amazon Bedrockのナレッジベースが、完全な応答を待つことなく大規模言語モデル（LLM）が生成するストリーミング応答を受け取れるようになる、RetrieveAndGenerateStream APIのサポートを12月1日（現地時間）に開始した。
Amazon Bedrockのナレッジベースは、フルマネージドの検索拡張生成（RAG）ワークフローを提供し、企業のデータソースからコンテキスト情報を読み込むことによって、高精度で低レイテンシ、安全なカスタム生成AIアプリケーションの作成を可能にしている。
RAGワークフローには、テータストアのクエリ、関連するコンテキストの収集、応答を要約するためのLLMへのクエリ送信といった手順が含まれる。応答生成はこのワークフローにおける最終手順であり、応答生成で使用される基盤モデルのレイテンシに応じて、数秒程度かかる場合がある。
今回の、Amazon BedrockのナレッジベースにおけるRetrieveAndGenerateStream APIのサポートは、レイテンシの削減を目的として行われており、ストリーミング応答によって最初の応答におけるレイテンシが短縮され、Amazon Bedrockのナレッジベースからのよりシームレスで応答性の高いエクスペリエンスを享受できるようになる。
RetrieveAndGenerateStream APIは、既存のすべてのAmazon Bedrockのナレッジベース対応リージョンにてサポートされている。
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営する開発者のための情報メディアです。日々の開発に取り組むエンジニアやテクノロジーを学びたい方に向けて、プログラミングやAI活用、開発ツール、エンジニアの学びとキャリアに関する記事をお届けしています。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
この記事は参考になりましたか？
この記事をシェア
