エージェントによるQAの性能を上げたのは、過去10年に人間がしてきたレビュー
ウォーターフォール開発における仕様書の重要性はすでに広く知られているが、具体的にQA Agentはどのように品質の検査をするのか。このエージェントの特徴として、所氏は4つの視点を持ったLLMが7つのペルソナになってドキュメントを検査することを挙げる。
1つは営業視点で、提案書としてRFPなどの要求に答えられているか、受注できる内容かを見る。2つ目は運用視点で、完成後に現場でオペレーションしやすい設計かを判断する。3つ目はテストと品質の視点で、ソースコードまで進んだときに本当に動くものが出来上がるかを推測しながら全ドキュメントを見る。4つ目はアーキテクチャとして最適かを見る。
この4つの視点は、QA Agentの開発にあたって所氏が設計したものではない。同社には品質戦略部という、プロジェクトの進行を品質面からチェックする部隊があった。QA Agentが仕様書を検査する観点は、品質戦略部のレビュアーが普段使っているチェックリストを落とし込んだものだ。
また、LLMに生成AIの成果物を評価させる手法(LLM-as-a-Judge)は、スコアが安定しないという指摘も聞く。この問題への向き合い方として所氏が挙げたのは、これまでに積み上げてきた社内のドキュメントだった。
「過去のプロジェクトでうまくいった、正解とも呼べるドキュメントがあるので、どれだけその理想とするドキュメントに近い状態になっているかという近さでスコア化しているのが一番の柱になります」
理想形は10数年のレビューの蓄積ですでに出来上がっており、それをAIに教えた。これまでトランスコスモスグループとして積み上げてきた仕様書作成のノウハウが、AI時代にQA Agentという形で結実した。
実装を知る最後の世代として、課題解決の担い手になる
開発標準をエージェントに参照させる方法は、リポジトリ内に規約を置く分散型が主流になりつつある。先に紹介した強力な中央集権型のナレッジ管理、「Agent Knowledge Base」を選んだメリットとして所氏が挙げたのは、上流工程の成果物の質だ。
「(中央集権型のナレッジ管理があれば)質の高い仕様書を作成することができて、どんなスキルレベルの人がClaude CodeなどのAIエージェントに投げても一定レベルのものが実装できます」
分散型は全工程を同じ人、ないし同等のスキルレベルの人が担う前提であるが、中央集権型であれば各工程を異なるスキルレベルの担当者が担うことができる。
ナレッジの更新は自動化されている。高い評価を得たドキュメントは汎用化・テンプレート化され、Agent Knowledge Baseに登録される。使えば使うほどナレッジが増える構造だ。
同社で運用するなかでは、想定していなかった副次的な効果が見つかる場面もあった。人材育成だ。
実装工程が減ればエンジニアの仕事は上流と判断に移るが、上流工程ができる人材はもともと不足している。まして、従来一般的であった下流工程を経験し、徐々に上流に立場を移す育成方法そのものも失われかねない。
ところが、Procedural Agentの開発で状況が変わった。若手メンバーの業務に同エージェントを伴走させると、AIが要件の詰め方やリスクへの対策を次々に問いかけてくる。考えていなかった観点を指摘されて、詰めておくべき点を初めて知る。繰り返すうちにAIが何を聞いてくるかを予測し、情報を準備して臨むようになる。これまで育成の現場にもあった「属人化」が、思わぬ形で解消されようとしている。
最後に所氏は、AI時代のエンジニアの役割をこう語る。

「やるべきことは、クライアントの課題やボトルネックになっているものを解決すること。エンジニアにとって、その手段がシステム開発です。起点はあくまで解決すべき課題にあります」
これからエンジニアになる世代は、実装工程を経験しないかもしれない。だからこそ、所氏は経験のある最後の世代に課題解決の担い手になってほしいと期待を寄せる。AIは万能ではない。顧客の情報を守りながら、その力をどう引き出すか。そこに、実装を知るエンジニアの知見が生きる。
「今エンジニアをやっている人たちには、AIの力を安全に、最大限に発揮できる環境をつくり、サービスがクライアントにもたらすメリットを最大化してほしい。そこに、これまでシステム屋として培ってきた能力を活かしてほしいと思っています」というのが所氏の思いだ。
ドキュメント品質管理AI「QA Agent」無償トライアル実施中
本記事でご紹介したWaterfall Boostを構成するエージェントの一つである、ドキュメントの品質管理を担う「QA Agent」を無償でお試しいただけます。ご関心をお持ちの方は、トランスコスモス・デジタル・テクノロジー公式サイトのお問い合わせフォームより「QA Agent無償トライアル希望」とご記入の上、お問い合わせください
この記事は参考になりましたか?
既に会員の方はを行ってください。
- この記事の著者
-
DeveloperZine編集部(デベロッパージン編集部)
DeveloperZineは、株式会社翔泳社が運営する、技術と組織の意思決定を支える情報メディアです。技術選定やチームづくりに向き合い、自分の判断を確かなものとしたいエンジニアやエンジニアリングリーダーに向けて、翔泳社主催エンジニアイベント「Developers Summit」とも連動しながら実践知...
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
-
関口 達朗(セキグチ タツロウ)
フリーカメラマン 1985年生まれ。東京工芸大学卒業後、2009年に小学館スクウェア写真事業部入社。2011年に朝日新聞出版写真部入社。2014から独立し、政治家やアーティストなどのポートレート、物イメージカットなどジャンルを問わず撮影。2児の父。旧姓結束。趣味アウトドア。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
提供:株式会社トランスコスモス・デジタル・テクノロジー
【AD】本記事の内容は記事掲載開始時点のものです 企画・制作 株式会社翔泳社
この記事は参考になりましたか?
この記事をシェア
