LLMOpsの構築によって、定量的に評価し、正しい判断を下す
Langfuse運用の課題は、インフラ面だけではない。ドメインやアプリケーション固有の評価にも難しさがあると、二人は言う。Langfuseの標準UIはドメイン特化ではないため、例えば契約書の原本と抽出データを並べて比較したい、ファイルの特定箇所同士が合っているかを表示したいといった、各サービス固有の見方を表現できない。そのため各チームがドメインごとに評価閲覧用のビューを別途開発しているのが実情だ。評価点とその見せ方は、ドメインごとに人間が設計・実装せざるを得ないが、今後共通化できるものはしていきたいと、大森氏は言う。
ここで2人に、Langfuseのお気に入りの機能を紹介して頂いた。中村氏が挙げるのはCode Evaluatorsと全文検索の2つだ。Code Evaluatorsは、これまでLLM as a judgeが前提だった評価の仕組みに、スクリプトを直接組み込める機能だ。エージェント出力の決定論的な評価が可能になるだけでなく、各チームが作った評価コードをそのままLangfuseに組み込むことで、ドメインごとに異なる評価要件への対応が格段に容易になったという。
また全文検索は、トレースの入出力テキストに対してキーワード検索をかけられる機能だ。LLM as a judgeが発火しなかった大量のトレースの中から、例えば「秘密保持契約で失敗したトレース」といった特定の失敗パターンを探し出すのに役立っている。現在Langfuseが提供するのはキーワード検索のみだが、中村氏はClickHouseのベクトル検索技術を応用した類似検索の開発にも期待を寄せる。
大森氏が挙げるのはLangfuse MCPとCLIだ。従来ブラウザから人間が操作するしかなかったトレースの確認やプロンプト管理が、これらのリリースを経てターミナルから実行可能になった。その真価は、手元のコーディングエージェントがCLIを叩いて、トレース確認からプロンプト改善、再実行、結果検証までを自律的に回せる点にある。人手で改善サイクルを回していた時間が浮き、プロンプト最適化の自動化に直結する機能として高く評価している。
今後の展望として、同社が目指すのはモデル評価の自動化だ。新しいモデルは次々登場するが、同社サービスの数百にも上るAI機能について、モデルを入れ替えるために人手で評価を実施するのは現実的ではない。そこで、新しいモデルのリリースを自動検知し、自律的に評価を実行、コストや精度などの基準をクリアしたら、そのまま本番環境にデプロイするような仕組みが必要となる。
さらに将来的には、評価結果に基づき、プロンプトだけでなくツールやハーネスまでAIが自動で変更し、プルリクエストまで作成する、ループエンジニアリングの領域までを見据えているという。こうした運用のデータ基盤として、Langfuse環境を育てていきたいと、中村氏は語る。
最後にLLMアプリケーションの運用に悩む読者にメッセージを頂いた。大森氏が勧めるのは、段階的なプロセスの構築だ。まずはアプリケーションの入出力をトレースすることから始め、典型的な入力パターンが蓄積された段階でデータセット機能を用いた評価体制へと移行する。そして必要に応じて、プロンプト管理機能を活用しトレースデータと連携させながら動的にプロンプトをブラッシュアップしていくという、一連の改善サイクルを定着させることが重要だと説く。
一方、中村氏が強調するのは、計測の重要性だ。モデルの進化は速く、ハーネスの付け外しも頻繁に起こる。エンジニアが時間を費やして慎重に評価している最中に新たなモデルが登場すると、既存の構成への執着が生まれ、結果としてそれを手放すタイミングを逸してしまう。モデルやハーネスを迅速に更新するためにも、「捨てる判断」を迅速に下せるLLMオブザーバビリティ基盤をきちんと作るべきだというのだ。
「計測できていないとモデルを捨てるという判断はできない。AIエージェントの開発と運用は、評価に始まって評価に終わる」（中村氏）。LayerXのLLMOpsの進化はこれからも続いていく。
【8/20オンライン開催】Langfuse 初心者向け入門Webinar（30分・無料）
30分でクイックに解説！AIエージェント開発の新定番「Langfuse」とは？
本Webinarでは、AIエージェントの開発・運用を劇的にラクにする今大注目のLLMオブザーバビリティツール 「Langfuse」 について、初心者向けに分かりやすく解説します。「Langfuseを使うと何が解決するのか」「どうやって開発が効率化するのか」を、実際の画面デモを交えてわずか30分でサクッと学べる入門講座です。＜詳細・ご登録はこちら＞
【9/9東京開催】Langfuse ハンズオントレーニング（3時間・無料）
「Langfuseで始めるLLMOps実践ハンズオントレーニング」初開催決定！
エージェント全ステップのトレースから、プロンプトのLangfuse管理、LLM-as-a-judgeによる本番モニタリング、検証用データセットの構築、データセット全体に対する実験実行、そして変更前後のRun比較による評価まで。評価はルールベースとLLM-as-a-judgeを併用し、「変更 → 再実行 → 比較 → 出荷判断」のAIエンジニアリングループを実際に一周させ、自社プロダクトに組み込むスキルを実践的なハンズオンで習得します。＜詳細・ご登録はこちら＞
