SHOEISHA iD

※旧SEメンバーシップ会員の方は、同じ登録情報(メールアドレス&パスワード)でログインいただけます

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

Developers Summit 2023 Summer セッションレポート(AD)

ChatGPTはコーディングテストをどこまで解けるか? AI時代の「エンジニア採用選考」を考える

【C-5】ChatGPTはコーディングテストをどこまで解答できるのか?!~Trackと10X社・GMO社のエンジニアが、AIを使って挑戦してみた~

  • X ポスト
  • このエントリーをはてなブックマークに追加

上級問題「ラッパーと最高の韻」をChatGPTに解かせた結果

 上級問題は、最も韻を踏んでいる単語の集合を見つけるため、特定のスコアを最大化する部分集合を見つけ出す問題だ。数理的な発想や高度なアルゴリズム・データ構造・重実装を要する問題であり、大規模データや複雑性の高い操作を拘束処理することが求められる。

上級問題「ラッパーと最高の韻」
上級問題「ラッパーと最高の韻」

 上級問題に関しても、ギブリー田島氏が挑戦結果のサマリーを3点でまとめている。1点目は、問題の複雑性が上がったことでChatGPTの問題理解度や出力精度が落ち、指示を区分するないしは工夫するスキルもより求められてくるところだ。

 2点目は、出力されたコードの改善がより必要となるため、プログラミングに対する能力が求められる点。3点目は、受験者が理解をして使いこなせると、効率的にコーディングをする上では、優秀な補助ツールである点が挙げられた。

10X石田氏がChatGPTで解いてみた結果と所感は?

 10X石田氏は、最初に問題文を入れても全く正しい回答をしてくれず、苦戦したと振り返る。30分くらいで諦めて、初めて問題文を読んで理解した上で、どのように解くか考えた。

 文字列のリストを入れて、最長共通接尾辞の組み合わせを高速に出せれば解けそうだとわかったので、工夫して入力。速度が出ないところもChatGPTにお願いし、時間ぎりぎりで96%の正解率を出すことに成功した。

 「コーディングの友として、十分役立つので問題をしっかり分割して、正しいお願いができれば、正しい答えが返ってきそうだと感じました」(石田氏)

10X石田氏がChatGPTで解いた結果
10X石田氏がChatGPTで解いた結果

GMO津田氏がChatGPTで解いてみた結果と所感は?

 GMO津田氏も開始15分ぐらい苦戦した後、20分くらい問題を読み込み、自分が理解した後に要素を分解してChatGPTに設計を依頼した。

 設計に関しては自分でやっても同じぐらいの品質・時間が出せると思ったが、メソッドを書いてもらったところ、コードを書く速度は圧倒的にChatGPTの方が品質・時間ともに良かったと語っている。最終的に20問中19個回答して時間終了となった。

 上級問題となると、コードを書く速度は圧倒的に速く、アルゴリズムを理解できる最小単位を把握して、そこで正しくこの条件を出すメソッドを作ってくれるのであれば、使わない手はないと語った。

 「辞書検索で使うTrie木を使ったら?など、いろいろ提案してくれるので、コーディングの友として本当に役立つと思いました」(津田氏)

 今回の結果を採用選考に活かすとしたら、どのような目線で臨むかも語られた。

 「ChatGPTが教えてくれる結果をうまく活かしてコーディングできていればいい。コーディング結果をディスカッションで語りたい。問題は、複雑な仕様を読み解いて、コードに落とすことのできる問題を選ぶ可能性が高いですね」(10X石田氏)

 「ChatGPTをうまく使いこなせるかは、有効な評価になります。逆にChatGPTに使われてる状態になっていないかも判断の必要があると思っています。設計(PM)と実装(ChatGPT)を分けることで、PMのテストにも使えるのではないかと思いました」(GMO津田氏)

今回の検証結果についてのまとめ

 最後に田島氏は、今回の検証結果を以下のようにまとめた。

  1. 従来のコーディングテストに対して、ChatGPTを用いても有効である
  2. 出力内容を適切に読解し、指示できるプログラミング力が求められる
  3. ChatGPTをスキルも有効な手段になってくる

 「企業が知りたいと考えるエンジニアの純粋なコーディングスキル、AIを活用することができる実務力を測るプロダクトを今後も開発していきたいと思います」(田島氏)

参考記事:AI主導の世界においてのコーディングテストはどうあるべきか

 Track Testでは、ChatGPTのコーディングテストの正答率を検証した結果をレポートにまとめています。AIが普及した世界における、企業のエンジニア採用選考や評価への向き合い方についての見解にご興味がある方はぜひご覧ください。

Trockとしての見解と今後の方針
Trockとしての見解と今後の方針
関連リンク

この記事は参考になりましたか?

  • X ポスト
  • このエントリーをはてなブックマークに追加
Developers Summit 2023 Summer セッションレポート連載記事一覧

もっと読む

この記事の著者

馬場 美由紀(ババ ミユキ)

 エンジニアとテクノロジーが好きな編集・ライター。エンジニア向けキャリアサイト「Tech総研」「CodeIQ MAGAZINE」、Web技術者向けの情報メディア「HTML5 Experts.jp」などでライティング、コンテンツディレクション、イベント企画などを行う。HTML5 開発者コミュニティ「h...

※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です

CodeZine編集部(コードジンヘンシュウブ)

CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。

※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です

提供:株式会社ギブリー

【AD】本記事の内容は記事掲載開始時点のものです 企画・制作 株式会社翔泳社

この記事は参考になりましたか?

この記事をシェア

  • X ポスト
  • このエントリーをはてなブックマークに追加
CodeZine(コードジン)
https://codezine.jp/article/detail/18172 2023/10/30 12:00

おすすめ

アクセスランキング

アクセスランキング

イベント

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

新規会員登録無料のご案内

  • ・全ての過去記事が閲覧できます
  • ・会員限定メルマガを受信できます

メールバックナンバー

アクセスランキング

アクセスランキング