AI活用の先の「ハルシネーション」と解決方法
矢野氏の組織では、こういったAIの導入によってどんな効果がもたらされているのか。
オンボーディングに関しては、セットアップにかかる時間が半日から約20分に短縮でき、作業時間の大幅な削減に成功。E2Eテストに関しても、大幅な作業時間削減が実現した。
新人を教えるメンターの負荷が軽減したことも大きなメリットだ。矢野氏は「新しく入った人は質問する際『こんなこと聞いていいのかな』という不安があると思うが、AIに対してはためらわずにどんどん聞けるので、心理的安全性も保てる」と語る。
さらに、オンボーディング・E2Eテストどちらにおいても、AIは言語に依存しないため「英語でも日本語でも聞けるうえ、元のドキュメントが英語でも日本語でも問題ない点」が重宝されている。
このようにAI活用は、当初の課題だった開発プロセスの「標準化」に大きく貢献している。しかし、Cursorを使って容易に効率化できているように見えるが、「AI実装時の課題はいろいろある」と矢野氏は言う。その中でも、AIの「正確性」や「保守性」「コスト」の問題を挙げた。
「どうしてもハルシネーションは発生しますし、冗長なテストケースを生成してしまうケースもあります。また、保守性の低いスクリプトが生成され、人間が修正するのに余計に時間かかるケースも存在します。加えて、トークンによる利用料金がかさんでしまうことも問題です」
こうした課題を踏まえて、矢野氏は「AIの信頼性が生産性に大きく影響する」と指摘。そして、信頼性を向上するための鍵は「コンテキストエンジニアリング」であると提言した。
従来のプロンプトエンジニアリングは、プロンプトに「良い質問」や「良い命令」を投げることでAIの精度を上げることを目指していた。一方で、コンテキストエンジニアリングは、プロンプトに適切なコンテキスト、情報を含めることでよい結果を目指す。RAGのようなコンテキストを取得する技術をはじめ、情報を圧縮・構造化する技術、コンテキストを管理する技術をすべて総括して、コンテキストエンジニアリングと呼ぶ。
同社では、このコンテキストエンジニアリングを重視している。例えば、E2EテストのAIエージェント活用においては、基礎的なプロダクト情報や抽象化のガイドラインをプロンプトに含めている。その他、MPC連携によるコンテキスト取得の仕組みや、失敗ログのフィードバックの管理など多面的な工夫を行っている。矢野氏は「暗黙知となっている知識を、ドキュメントに落とし込むのも重要な作業」と説明した。
こうした努力を積み重ねることによって、AIの信頼性を向上させている。矢野氏の開発組織では、「8⽉実績で概算48%のコードをAIが書いていた」という。
多くの作業をAIに任せられるようになってきたが、矢野氏は「エンジニアの役割がなくなっているのかというと、そういうわけではない」と強調。
エンジニアは、レビューにより多くの時間を使うようになった。これは言い換えれば、品質にフォーカスできるようになったということだ。矢野氏は「これからは『どうやって作るか』（HOW）から、『何を』（WHAT）『なぜ』（WHY）作るかに焦点がシフトしていく」と考察した。
その時、開発者に求められるのは「開発者としてのセンス」である。確立された原則などの知識のほか、過去のプロジェクトでの経験、ユーザー中心のデザインを実現する直感や創造性といった感性も問われるようになる。
「AIは、プロセスの標準化を助けて組織の課題解決にも貢献できると感じています。その上で大事なのが、信頼性を上げること。信頼性向上のためのコンテキストエンジニアリングが重要です。さらに、開発者としてのセンスを磨いてAI時代に備えていきましょう」
