暗黙知を言語化する評価基準作成 独自ツール「AI TrustEval」でプロンプト改善
ここからはプロンプト構築の詳細に踏み込んでいこう。「要約」には正解が1つではないため、従来のシステム開発とは異なる課題に直面した。課題とは評価の属人化とコストのジレンマだ。前者は、同じ出力でも担当者によって評価が割れてしまうこと、後者は品質を担保するために人間の目視評価を増やすと工数が増えてしまうことだ。
実際に新機能をビジネス担当者に見せると「実務上必要な観点が網羅されていない」「お客さまへの配慮が欠けている」とフィードバックされるも、エンジニアは「実務上必要なこととは具体的に何か？」「失礼にあたるケースとは？」と困惑してしまっていた。両者の間には知識や感覚に大きなギャップがあったのだ。
この“感覚”を明文化するために評価基準を策定した。同社 藤野智彦氏は「ポイントはエンジニアだけで作らないことです。ビジネスと膝を突き合わせ、ワークショップ形式で一緒に作成しました。このプロセス自体がビジネスとエンジニアの認識を合わせる貴重な機会となりました」と話す。
評価基準は3つのステップで言語化した。まず（1）「利用シーンを特定」し、誰が何を決めるのかを整理した。続いて（2）「失敗リスクの抽出」では、何が起きると後続業務を含めて致命的になるのかを洗い出した。そして（3）「合格ラインの決定」では、業務が止まらない最低限の許容範囲を決めて合意した。こうして曖昧だった良し悪しを4つの明確な評価軸「要約品質」「業務適合性」「正確性・事実性」「倫理・コンプライアンス」に落とし込み、5段階の評定表も作成した。
評価基準ができると、次の4ステップでサイクルを回した。（1）「初期定性レビュー」では、生成AIの出力で許容範囲を洗い出すなど、方向性を確認する。続いて（2）「定量評価」では、検証データを評価ツールで定量的に採点することで品質を測定する。そして（3）「詳細定性評価」では、定量評価で測れない「業務上の違和感や致命的なものがないか」を5段階で評価するなど、人間の目による最終確認を行う。最終的な（4）「デリバリー」では、ユーザー受け入れテストを実施し最終確認した後に、ユーザーに展開する。この4ステップを定義することで、属人化を排除し、ビジネス側の工数を削減した。
特徴的なのが（2）「定量評価」だ。ビジネス担当者が自主的に評価プロセスを回しやすいように、独自の評価ツールとなるWebアプリケーション「AI TrustEval」を構築した。これを用いて100件程度の検証データから品質を定量計測できるようになり、業務で使えるかどうかの判断確度が上昇した。
「AI TrustEval」は評価データの管理、プロンプトの管理、生成AIによる評価といった機能を持つ。AIが自動で採点するので、ビジネス担当者はAIが低評価をつけたものや判断に迷ったものの確認だけに集中できるようになり、評価工数が劇的に削減できた。
技術スタックはUV WorkspaceによるMonorepo構成で、Frontend、Backend、Evaluationの3パッケージを管理している。FrontendはPythonで完結するDash、BackendはFastAPIの非同期構成にしている。評価エンジンは「DeepEval」（GEvalをカスタマイズ）を利用し、Gemini・GPT・Claudeのマルチプロバイダに対応している。
暗黙知の言語化から始まる評価基準の策定と、ツールによる評価プロセスの自動化により、軽量モデルでも実業務に耐えうる品質を実現し、高いROIにつなげることができた。
藤野氏は「これによりビジネス主導でAIを育てられる環境が作れた」と手応えを語る。ビジネスが自立してプロンプトの構築・評価・改善を回せるよう、方法・手順・Tipsを標準化した。今回のプロセスで得られた成果は「システムプロンプト構築ガイドライン」として社内へ横展開し、他のプロジェクトでも活用できるようにしている。生成AIで業務課題を解決しただけではなく、組織でAIを継続的に育てていくための土壌が生まれた。
ＳＯＭＰＯホールディングスからのお知らせ
ＳＯＭＰＯホールディングスではエンジニアの仲間を募集しています。開発環境やカルチャー、現在募集中のポジションなど、詳しくは採用情報ページをご覧ください。
