Microsoftは、5月8日、Microsoft 365 Copilot向けのAIエージェントを評価する「Agent Evaluations」ツールをパブリックプレビューとして公開した。これは、Microsoft 365 Copilot 用に構築するエージェントの品質を測定および改善するのに役立つ。
Agent Evaluationsは、デプロイ済みのエージェントにプロンプトを送信し、応答をキャプチャして、Azure OpenAI LLM モデルを使用してスコアリングするCLIを提供する。評価ループ全体がシンプルなコマンドラインワークフローに統合されており、開発者はMicrosoft 365 Agents Toolkit内でCLIを起動して、宣言型エージェントを直接評価することが可能。
単一ターンまたは複数ターンの会話の評価をサポートしており、エージェントがコンテキストをどのように保持し、エンドツーエンドのタスクをどのように完了させるか、実際のユーザーとのやり取りと同じように検証できる。一貫性、現実性（LLMベース）、完全一致・部分一致（コードベース）などの評価基準に基づいて自動的に採点される。
結果はHTML形式のスコアカードレポートとして出力され、開発者はこのスコアカードをコードレビューやCI/CDパイプライン全体において共有し活用できる。
Agent Evaluationsは、パブリックプレビュー期間中は無料でインストール可能。詳細はブログポストより確認できる。
- 関連リンク
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
