今後生成AIとどう向き合うべきなのか？ 現場のエンジニアと研究者が最新研究事例から語り合う

【24-A-9】生成AIの得意と不得意を知って開発の仕事に役立てよう～最新研究事例から見えてきたこと～

　ここ2〜3年で、GitHub Copilotなど、生成AIを利用した開発者支援サービスが続々登場した。すでに業務で利用されているという皆さんも少なくないだろう。一方で、「使ってはみたが、期待外れだった」と感じている人も多いに違いない。本セッションのスピーカーは、「現場では得意不得意を見極めて、使い道を考えている」と語る。そして、「ソフトウェアエンジニアリングの研究コミュニティでも研究が進んでおり、得意不得意が論文という形で表れつつある」ともいう。このセッションでは、開発現場でコンサルタントやエンジニアとして活躍を続ける和田卓人氏と、アジャイルコーチとして開発の現場を支援しているやっとむ氏の2人がモデレーターを務め、名古屋大学大学院情報学研究科の森崎修司氏が、最新の研究事例と、自身の研究を紹介しながら、生成AIの得意、不得意について語った。

研究者が語る、生成AIの得意／不得意とは？

　まず森崎氏は、ソフトウェアエンジニアリングの世界で生成AIのブームが始まったのは昨年、あるいは一昨年あたりからだと指摘した。それ以前にもソースコードを学習させた「OpenAI Codex」などのモデルがいくつか存在していたが、大きく期待されていたわけではなく、生成AIが日常会話レベルのやり取りができるようになったところで急速に注目を集めるようになったと、現在までの流れを整理した。

左から、和田 卓人氏、やっとむ氏、森崎 修司氏

　研究者の間でも大きな変化があり、2023年までは生成AIを評価する専用のベンチマークデータは存在しなかったが、2024年に入ってから、生成AI専用のベンチマークデータが登場し、生成AIでしかできない手法が続々と登場している。

　そして、森崎氏が最新の研究例を見渡して生成AIが得意とする作業として挙げたのが、元データを要約するような作業だ。ほかにもテストコードを人手で用意して、その上で生成AIにプロダクトコードを生成させる作業も向いているという。テストコードで合格、不合格を判定できるので、誤りに気づきやすい。

　一方で不得意な作業としては、解釈させて一部を補足させるような作業が挙げられた。簡単なものなら問題ないのだが、少し複雑になるとわけの分からない出力を返してくる場合も多い。しかも「自信満々に、最後にいい感じのコメントを添えて」返してくるので、人間も騙されやすいと指摘した。

　ここから森崎氏は、要求、設計、実装、テスト、その他カテゴリに分けて、研究例を紹介しながら、それぞれの作業が生成AIにとって得意なものか、不得意なものかを森崎氏個人の感想とことわった上で話し始めた。

　森崎氏がまず取り上げたのは、要求、設計の分野の研究例で、自然言語で書いた要求からモデル図（シーケンス図）を生成AIに作らせるものだ。森崎氏はこの試みについて、現時点では不得意な分野だと感想を述べた。

　森崎氏は生成AIによる出力例をスライドに映しながら、「最初にこれを見たときは、すごいなと思った」と語ったが、よく見るとあちこちに誤りが残っており、これでは人間によるレビューが面倒になってしまうと感じたという。

自然言語で記述した要求から生成AIにシーケンス図を出力させたところ。一見、よくできているように見えるが、よく見るとあちこちに誤りがある

　続いて森崎氏が挙げたのは、自然言語で記述した要求から、生成AIにドメインモデリングをさせた例だ。森崎氏はこの結果について「先に挙げた例よりもかなり良い結果が出ており、構造に関しては、振る舞いよりもうまくいく傾向がある」と述べた。そして、「この場合は要求文の構造に関する制約を記載していることが多いため、その点も良い方向に働いたのではないか」と付け加えた。