Teammate、アジャイル型マネージドRAG開発基盤、生成AIオブザーバビリティ基盤、オープンソース生成モデルのサーバレス推論APIサービスをリリース

　シンガポールのTeammateは、継続的プロンプト開発基盤「Teammate Lang」に加えて、アジャイル型マネージドRAG開発基盤「Teammate Aug」、生成AIオブザーバビリティ基盤「Teammate Intel」、オープンソース生成モデルのサーバレス推論APIサービス「Teammate Infer」のリリースを、5月16日に発表した。

　Teammate Augは、アジャイル開発とオブザーバビリティを備えたマネージドRAG（Retrieval-Augmented Generation）開発基盤であり、LLMへのFew-shot Learningに特化した検索サービスで、自社でベクトルデータベースの開発・運用をすることなく、RAGを開発できる。同じデータソースから複数のモデル・ディメンジョンや、異なるチャンク戦略での同時コーパス作成が可能なほか、継続的なデータ追加もできる。OpenAI、Cohereのモデル連携に対応しているほか、近日中にVoyage AI、Jina AIへの対応も予定している。また、Teammate Inferが提供するBGE、E5、PKSHA Technologyの日本語モデルといったオープンソースモデルにも対応している。

「Teammate Aug」の画面イメージ

　Teammate Intelは、LLMアプリの信頼度を高められるLLMOps向けオブザーバビリティツールで、有害スコアからRagasまでLLMアプリの品質分析に必要なすべての指標を備える。生成結果をパイプラインで取り込むことによって、速度や冗長性、推定生成コスト、モデレーションモデルによる有害性、AIが正確性や回答忠実性を自動でスコア化するRagas指標セットなどの監視が可能となっている。ログ一覧から、問題のある生成ログをすぐに見つけられるほか、多面的に評価できるカスタマイズ性の高いダッシュボードも用意し、可視化されたグラフによって開発者ほかビジネス側も含め、生成AIが安全に運用されていることをリリース後も継続的に確かめられる。

「Teammate Intel」の画面イメージ

　Teammate Inferは、最先端のオープンソース生成モデルによるサーバレス推論APIサービスで、多様なオープンソースモデルを生成AIアプリですぐに利用可能にする。OpenAI APIと同じ形式で出力され、OpenAIのライブラリも使用できるため、既存の開発コードからのマイグレーションを容易に実現し、日本語モデルの対応を強化してCyberAgentLM2 (7B) ほか、ELYZA (13B), RakutenAI (7B)にも対応している。さらに、英語・多言語モデルであるLlama 3やQwen、Mistralといった、各種モデルにも対応する。

「Teammate Infer」の画面イメージ