米Cloudflareは、サーバレスAIプラットフォーム「Workers AI」と、同社のAIアプリケーション開発ツールに、より高速かつ強力であり、高性能なAIアプリケーションの構築を可能にする新機能を追加することを、9月26日（現地時間）に発表した。
今回、発表されたWorkers AIの機能強化では、AI推論パフォーマンスを向上するとともに、Llama 3.1 70BおよびLlama 3.2モデル群（1B、3B、11B、90B）といった非常に大規模なモデルで推論を実行できるようにすべく、より強力なGPUを搭載したグローバルネットワークを拡大している。
より大規模なモデルに対応しただけでなく、より高速なレスポンスおよびより大きなコンテクストウィンドウによって、Workers AI上で構築されたAIアプリケーションにおける、より複雑なタスクの効率的な処理を可能にして、自然でシームレスなエンドユーザー体験を生み出せるようになった。
さらに、AI Gatewayのオープンベータ版には、新機能として開発者がユーザーのプロンプトとモデルの回答を長期間保存できるようにして、分析およびアプリケーション性能の理解への活用を可能にする永続ログが追加されている。永続ログによって、リクエストのコストや期間といったユーザーエクスペリエンスから、より詳細なインサイトを得られるようになり、アプリケーションの改善に役立てられる。
あわせて、さまざまな機能改善が行われた、ベクトルデータベースVectorizeが一般公開された。これまでVectorizeは、20万ベクトルまでのインデックスに対応していたが、2024年8月の時点で最大500万ベクトルまで対応するようになったほか、549msだったクエリの待ち時間の中央値は31msまで短縮されている。これらの改善が行われた結果、AIアプリケーションはより少ないデータ処理で必要な情報を迅速に検索できるようになり、より手頃な価格を実現した。
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
