Cognitionが「Devin」の18カ月運用レビューを公開、大規模なコードベース理解に強み

　Cognitionは11月14日（現地時間）、同社が提供するAIソフトウェアエンジニア「Devin」の18カ月間にわたる導入成果と、その強み・課題をまとめたパフォーマンスレビューを公開した。

　Devinはゴールドマンサックスをはじめとする多数の企業のエンジニアリングチームで活用され、これまでに数十万件のプルリクエストをマージしてきた。

　同発表ではDevinの特徴として、明確な要件と検証可能な結果をもつ業務を大規模かつ並列に実行できる点を挙げている。たとえばリポジトリの移行やモダナイズ、脆弱性の修正、ユニットテスト生成、チケット消化などを高速にこなすことが可能だ。

　セキュリティ対応では、Devinを活用した大規模組織で、開発者時間の5～10％を削減する例や、修正効率が20倍に向上した事例が報告され、コードベースの移行では、人間による作業より最大14倍速く処理できたケースもあったとしている。

　また、Devinは大規模なコードベースの理解やドキュメント生成、システムアーキテクチャの可視化に強みがあり、社内では40万を超えるリポジトリのドキュメントが自動生成されたと発表。テストカバレッジは多くの企業で50～60％から80～90％まで向上した。

　一方、同発表の中ではDevinの苦手な分野として、曖昧な要件や途中でスコープが変わる作業、対人調整といった"ソフトスキル"や独自判断を求められる状況を挙げた。同社は今後、現実のコードベースとの協調やUX向上のための機能開発に注力する方針だ。