ドメインエキスパート×高度な技術的知見により、より良いアプリケーションを作りこむ
プロジェクトは、池田氏が対象ユーザーとシステムがカバーするスコープを明確に定義することから始まった。生活保護行政のドメインエキスパートとして参画した池田氏は、厚生労働省が公開している膨大な法令や通知などの公開データをAIのナレッジベースとして適切に構造化し、読み込ませるアプローチを採った。これは技術的にRAG（Retrieval-Augmented Generation：検索拡張生成）と呼ばれる、外部の専門的な知識データベースと大規模言語モデル（LLM）を連携させる手法である。
テスト版は現場の業務要件を的確に捉えていたものの、実運用に向けてはアーキテクチャの最適化が必要であった。そこで、東京都のICT職として技術的知見を持つ石毛氏が参画し、システムのリファクタリングが推進された。石毛氏がAPI連携の検証を行った結果、当初の構成では膨大な関連資料のテキストデータを一度にLLMへ読み込ませていたため、レスポンスに約1分もの時間を要し、APIの利用コストも想定を大きく上回るという課題が浮き彫りになった。
このパフォーマンスとコストの課題を解決するため、石毛氏はシステムの全処理フローを可視化し、ボトルネックの特定と解消に取り組んだ。 単に安価なLLMモデルに変更するだけでは、池田氏が求める厳密な回答品質を維持できない。そこで石毛氏が導入したのが、プロンプトチェーニングと呼ばれる処理の細分化手法だった。
池田氏が「学校のテストで、教科書全体から出題するのではなく、試験範囲を限定して指示するのと同じ」と解説したように、事前のフローでユーザーの質問に関連する情報を高精度に抽出し、その厳選された情報のみを最終的な回答生成用のLLMに渡すパイプラインを構築した。これにより、コストを劇的に抑制しつつ、実務に耐えうる高品質で安定したレスポンスを実現したのだ。
33の自治体、500名以上の現場職員によるテスト版の試用へ
ドメインエキスパートとテクノロジストの高度な協働によって完成したテスト版「生活保護法令検索AIアプリ」は、実際の行政現場で極めて高い評価を獲得した。そして、池田氏らは約2ヵ月間をかけて東京都内の33の自治体を訪問し、総勢500名以上の現役生活保護担当職員に開発したテスト版を体験してもらうという大規模な検証を実施した。その結果、5段階評価で平均4.2という高評価を記録し、膨大な法令検索にかかる時間の削減と、それに伴う住民への迅速な対応という明確な効果の兆しが確認された。
この高い成果を生み出した背景には、開発プロセスにおけるアジャイルなフィードバックループの存在がある。コスト最適化のチューニング過程において、回答精度が変動した際、業務要件を熟知する池田氏が「ここはもう少し正確な回答が欲しい」と的確な評価を行い、石毛氏がそれを受けてプロンプトや処理フローを即座に修正するというサイクルが高速で回された。互いの専門性を尊重しながら、膝を突き合わせて品質を高めていくこのプロセスこそが、現場の真のニーズを満たすプロダクトを創出する原動力となった。
さらに、システムの普及を後押しした最大の要因は、開発に込められた「現場への深い理解」である。デモンストレーションの際、池田氏自身が生活保護担当の経験を活かして開発を主導した事実が伝わると、現場の職員からは「やはり業務をわかっている人が開発に関わっていることは非常に信用できる」「すごく期待している」といった共感と期待の声が多数寄せられた。業務プロセスを熟知した職員が要件定義から深く関与することで、ユーザーの痛みに寄り添った、真に受け入れられるデジタルサービスが実現したのだ。
