「生産性が上がった気がする」を超えて——コーディングエージェント検証のリアル
NTTドコモビジネスでは、コードアシストとしてGitHub Copilotをすでに全社展開している。一方、コーディングエージェントは講演当時、まだ評価・検証段階にあった。複数のツールを机上で比較し、利用規約における知的財産侵害の訴訟保証を確認したうえで、Claude CodeとDevinを選定し試用開始した。イノベーションセンター内の十数名を対象に、2025年6月から9月までの約3カ月間、内部ツールの開発やドキュメント作成、テスト作成といったユースケースを中心に運用した。
岩瀬氏がまず強調したのは「定量的に測らなければ本当の効果はわからない」という点だ。世の中では「生成AIで生産性が上がる」という声が多いが、実際には開発者が24％の速度向上を期待していたにもかかわらず、約19％遅くなっていたというレポートも存在する。しかも開発者本人は遅延を経験した後でもなお「AIが20％の効率化をもたらした」と信じていた。定性的な感覚だけでは効果を正しく測れない。
社内でも利用者アンケートを実施すると、「役に立っている」という声が多い一方で「どちらとも言えない」という回答も目立った。1日あたり3時間以上の効率化を実感している層はほぼ毎日使い込んでいる人であり、効果を感じられない層は利用頻度が低い。使う人と使わない人の間で成果が明確に分岐していく構図が浮かび上がった。
デプロイ頻度2.4倍——Four Keysが示した「増幅器」としてのAI
定量データとしてFour Keys（デプロイ頻度と変更のリードタイム）を計測したところ、コーディングエージェント利用者はコードアシストのみの利用者と比べてデプロイ頻度が約2.4倍、変更のリードタイムも15.6時間短かった。同一利用者の導入前後で比較しても同様の傾向が確認でき、DevOpsサイクルの回転数が上がって仮説検証が増えているという結果が得られた。
ただし岩瀬氏は、この結果を「AIがすべてを解決する」という文脈では語らない。和田卓人氏のスライドを引用し、「AIをうまく使えて成果を出している人は、元々エンジニアリング力がある人だ」と指摘した。
2025年のDORAレポートでも「AIは偉大な増幅器」と結論づけられており、ソフトウェアデリバリー性能とプロダクトパフォーマンスの両方でAI導入と正の相関が認められている。だが、密結合システムと遅いプロセスに制約されるチームにはほとんどメリットがない。「0を増幅しても0」——ベースとなる地力を高めることが前提条件だと岩瀬氏は繰り返した。
