LLMの不確実性を制御する構造化プロンプトとコンテキスト設計
株式会社LayerXでLLM（大規模言語モデル）検索およびR&Dチームのマネジメントを担う澁井氏は、長年にわたり機械学習・AIをプロダクション導入してきた実務家だ。マネジメントにおいては「方針とプラクティスだけを示し、あとは任せる」スタイルを重視しており、その発想をAI活用にも応用してきた。本セッションでは、LLMをソフトウェアに組み込む際に避けて通れない不確実性とどう向き合うべきかを、構造化・分割の観点から整理してみせた。
澁井氏は冒頭、「LLMの本領はソフトウェアへの組み込みでこそ発揮される」と強調する。既存アプリケーションに自然言語処理や推論を埋め込む方法は一般化したが、同時に「LLMは確率的であり、出力の確実性が保証されない」という根本的な課題も浮上した。この揺らぎにどう対処するかが、LLM時代のアプリケーション設計における核心になってくる。
そこで澁井氏が提示した鉄則は、「不確実な要素を局所化し、制限し、評価する」方針だ。ビジネスロジックのように確定的に制御できる部分はルールベースで固め、LLMが関与する領域では「どこが不確実なのか」を構造的に分解し、影響範囲を最小化する。揺らぎをソフトウェア全体に波及させない設計こそが重要だと述べる。
入力側の処理は特に注意すべき領域だ。この部分は、「ユーザーのリクエスト」「コンテキストエンジニアリング（何をLLMに渡すか）」「プロンプト管理（どの形式で指示するか）」に分解できると澁井氏は整理する。
たとえば「あなたはLLMに詳しいエンジニアです。Auto-webの機能を改善し、コミットとレビューを考慮してリファクタしてください」という、よくあるプロンプトを考えてみる。一見明確な指示に見えるが、「どのコミットを対象にするのか」「どのレビューを参照するのか」が曖昧で、LLMは推測で穴埋めするしかない。まさにここが不確実性の源泉になる。
澁井氏は「この穴埋め部分を制御するのがコンテキストエンジニアリングであり、検索やロングタームメモリ設計が鍵になる」と解説し、「プロンプトそのものを構造化すべきだ」と示唆。たとえばプロンプトを「ロール」「指示」「事例（few-shot）」に分割し、データクラスの属性のように扱えば、変更点ごとにテストでき、影響範囲も可視化される。
ただし、厄介なのはコンテキストそのものだ。対話履歴、外部データ、LLM同士の内部対話などは利用中に動的に増えていくもので、完全なコントロールが難しい。澁井氏は差し当たりの対処法として、「長さ」「順序」「誰とのやり取りか」といった観点で要素分解し、シミュレーションやテストによって評価していく方向性を提案する。不確実性の塊であるコンテキストを評価可能な単位に落とし込むことで、なんとか制御の道が見えてくるわけだ。
構造化と分割、そして評価というエンジニアリング思考で揺らぎを扱う。このアプローチは、今後のAIソフトウェア開発に新たな設計指針をもたらすだろう。
