Datadog、生成AIアプリの監視・改善・保護を容易にする「LLM Observability」を一般提供

　米Datadogは、AIアプリケーション開発者や機械学習エンジニアが、大規模言語モデル（LLM）アプリケーションを効率的に監視、改善、保護できる「LLM Observability」の一般提供を、6月26日に発表した。

　今回、一般提供が開始されたLLM Observabilityは、生成AI機能を実装し本番稼働させる際に課題となる、LLMチェーンの複雑さ、予測不可能性、セキュリティリスクなどを克服し、自信を持って生成AIアプリケーションの展開・監視を可能にすべく支援する。

　LLMチェーンの各ステップを可視化して、エラーや予期せぬレスポンスの根本原因を容易に特定するとともに、遅延やトークン使用量といった運用指標を監視してパフォーマンスとコストを最適化できる。さらに、トピックの関連性や有害性といったAIアプリケーションの品質を評価し、すぐに利用可能な品質と安全性の評価によって、セキュリティとプライバシーのリスクを軽減するためのインサイトを得られる。

　従来のツールやポイントソリューションとは異なり、プロンプトとレスポンスのクラスタリング、Datadogアプリケーションパフォーマンスモニタリング（APM）とのシームレスな統合、すぐに利用可能な評価と機密データのスキャン機能を提供することで、生成AIアプリケーションのパフォーマンス、精度、セキュリティを強化するとともに、データのプライベート性と安全性の維持を支援する。

　具体的には、LLMアプリケーションの会話の品質と有効性（回答の失敗など）を可視化して、アプリのドリフトとエンドユーザーの全体的なエクスペリエンスを監視するほか、各ユーザーリクエストのエンドツーエンドのトレースを完全に可視化することによって、LLMチェーンにおけるエラーや障害の根本原因を迅速に突き止める。

　あわせて、OpenAI、Azure OpenAI、Amazon Bedrock、Vertex AIといった、主要なプラットフォームにおけるアプリケーションのおもな運用メトリクスを統一ダッシュボードで効率的に監視できるようになり、パフォーマンスとコストの最適化を実現する。

　さらに、Datadog Sensitive Data Scannerによる内蔵のセキュリティおよびプライバシースキャナを使用することで、アプリケーションを迅速なハッキングから保護し、個人情報、電子メール、IPアドレスといった機密データの漏えいを防げる。