米GitHubは、AIアシスタントであるGitHub Copilotを使用して生成されたコードが、どの程度機能的で読みやすく、信頼性があり、保守しやすく、簡潔で、承認される可能性が高いかを明らかにすべく実施した、ランダム比較試験の結果を11月18日（現地時間）に発表した。
同試験では、5年以上の経験を有する開発者202名が参加し、半数にはGitHub Copilotへのアクセスがランダムに割り当てられ、残り半数にはAIツールを使用しないよう指示が与えられている。参加者全員に、WebサーバのAPIエンドポイントを記述するコーディングタスクを完了するよう依頼し、その後単体テストと専門家のレビューによってコードを評価した。
試験結果のうち、いくつの単体テストに合格したかをみると、GitHub Copilotを使用して作成されたコードは、AIツールを使用せずに書かれたコードと比較して、はるかに多くのテストに合格しており、GitHub Copilotにアクセスできる開発者は、10個の単体テストすべてに合格する可能性が56％高いという結果となっている。
10個の単体テストすべてに合格したコードを作成した25名の開発者に、GitHub Copilotを使用して作成されたコードと、GitHub Copilotを使用せずに作成されたコードの両方に対して、ブラインドレビューをランダムに割り当てたところ、GitHub Copilotを使用して作成されたコードの方が、コード可読性エラーが少なかった。
さらに開発者によれば、GitHub Copilotを使用して作成されたコードは、読みやすさ、信頼性、保守性、簡潔さいずれもGitHub Copilotを使用せず作成されたコードよりも向上しているという。
レビューしたコードを承認するかについては、GitHub Copilotを使用して作成されたコードを承認する可能性が、GitHub Copilotを使用せずに書かれたコードよりも5％高いという結果となっている。
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
