米AWSは11月19日(芸国時間)、Amazon API Gatewayでレスポンスストリーミングのサポートを開始したと発表した。従来はレスポンスが完全に生成されるまでクライアントは待機する必要があったが、同機能により最初のデータが生成され次第、即時にクライアントへ送信可能となった。
今回のアップデートにより、AIエージェントやチャットボットなどのLLM駆動アプリケーション、Web・モバイルアプリケーションのtime-to-first-byte(TTFB)パフォーマンス向上が期待できるほか、10MBを超える大きなレスポンスデータの配信や、Server-Sent Events(SSE)を用いた進捗通知、長時間実行される操作にも対応できる。
レスポンスストリーミングは、REST APIの統合設定で「STREAM」モードを指定することで利用可能となる。Lambda関数やHTTPプロキシ統合でサポートされており、最大15分のリクエストタイムアウトも可能。API Gatewayセキュリティ機能やCloudWatchなどの監視機能にも対応する。
これまで10MBに設定されていた制限や複雑な回避策の必要性が解消され、パフォーマンスとユーザーエクスペリエンスの向上が想定される。詳細はAWSドキュメントから確認可能だ。
この記事は参考になりましたか?
- この記事の著者
-
CodeZine編集部(コードジンヘンシュウブ)
CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
