SHOEISHA iD

※旧SEメンバーシップ会員の方は、同じ登録情報(メールアドレス&パスワード)でログインいただけます

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

Developers Summit 2023 Summer セッションレポート(AD)

ChatGPTはコーディングテストをどこまで解けるか? AI時代の「エンジニア採用選考」を考える

【C-5】ChatGPTはコーディングテストをどこまで解答できるのか?!~Trackと10X社・GMO社のエンジニアが、AIを使って挑戦してみた~

  • X ポスト
  • このエントリーをはてなブックマークに追加

初級問題「道路の横切り」をChatGPTに解かせた結果

 初級問題は、道路の横入りをテーマに移動距離が変数として与えられ、交差点を横切る回数に対する質問に答えるものだ。条件分岐、繰り返し構文などの基本的な構造化プログラミング問題だ。基本的な実装能力を測ることができる。

初級問題「道路の横切り」
初級問題「道路の横切り」

 株式会社ギブリーの「Track Test」カスタマーサクセスリーダー田島聖也氏は、まずはじめに検証結果をサマリーを述べた。初級の問題であっても、一度ChatGPTにそのまま入力するだけでは満点の回答は得られなかった。だが、出力内容に対して適切な指示や修正を加えることで、満点を取ることができた。

 「コードの内容を含めて、一部ChatGPT特有の記述や過剰な記述部分もあるが、合格を出せるラインまで到達することができてしまうと思っています」(田島氏)

10X石田氏がChatGPTで解いてみた結果と所感は?

 10X石田氏は、まずTrackの問題がコピー&ペーストできなかったので、ブラウザの検証からCSSのクラスを取って問題をコピーし、ChatGPTに入力して解答をもらうようにした。メモリ不足など、Trackに入れるとエラーになってしまう入力に対しては、都度指摘して直してもらいながら、18分で全問正解。全問正解するまで、全く問題を読んでない状態で解くことができた。

 「解かれたコードを試験官として見てみると、細かい改善点などはあったものの、ちゃんと整理できていて、満点も取っているので合格だと思っている」(石田氏)

10X石田氏がChatGPTで解いた結果
10X石田氏がChatGPTで解いた結果

GMO津田氏がChatGPTで解いてみた結果と所感は?

 GMO津田氏も同じく、Trackの問題文をChatGPTに入力して解答を得ようとしたものの、標準入出力を伝えるのに苦戦。問題を見ながら、ポイントごとに分けて聞くことで、無事満点を得た。

 所感としては、Devツールや正規表現などの予備知識は必要だという。また、書かれたコードは特に問題はないが、かなり過剰に書いているtoo muchなコードに見受けられた。

 「採用プロセスでは、書かれたコードはディスカッション目的としてるので、もう少しシンプルにするにはどうしたらいいかを質問しながら進められるといいと思いました」(津田氏)

自力で解いた場合とChatGPTを利用した場合の違いを比較する

 続いて、2つのテーマについてディスカッションが行われた。1つ目のテーマは、「自力で解いた場合とChatGPTを利用した場合ではアプローチが異なるか」。10Xの石田氏、GMO津田氏ともに、構造が理解できてうまく使いこなせるのであれば、「ChatGPTの方が断然速い」と回答している。

 2つ目のテーマは、「未経験やプログラミングの経験が浅い人が挑んだ場合も有効な解答が得られるか」。GMO津田氏は、「コーディング試験後のディスカッションを通して、どのようなアプローチで解いたかを語れるのであれば評価できる。新しく評価軸が加わった印象を持った」と語っている。

 一方、10Xの石田氏も「Trackの使い方や概念を理解していれば、プログラム経験が浅くても解答できるのでないか」とポテンシャルの高さと採用の判断軸としての有効性を述べた。

次のページ
上級問題「ラッパーと最高の韻」をChatGPTに解かせた結果

関連リンク

この記事は参考になりましたか?

  • X ポスト
  • このエントリーをはてなブックマークに追加
Developers Summit 2023 Summer セッションレポート連載記事一覧

もっと読む

この記事の著者

馬場 美由紀(ババ ミユキ)

 エンジニアとテクノロジーが好きな編集・ライター。エンジニア向けキャリアサイト「Tech総研」「CodeIQ MAGAZINE」、Web技術者向けの情報メディア「HTML5 Experts.jp」などでライティング、コンテンツディレクション、イベント企画などを行う。HTML5 開発者コミュニティ「h...

※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です

CodeZine編集部(コードジンヘンシュウブ)

CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。

※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です

提供:株式会社ギブリー

【AD】本記事の内容は記事掲載開始時点のものです 企画・制作 株式会社翔泳社

この記事は参考になりましたか?

この記事をシェア

  • X ポスト
  • このエントリーをはてなブックマークに追加
CodeZine(コードジン)
https://codezine.jp/article/detail/18172 2023/10/30 12:00

おすすめ

アクセスランキング

アクセスランキング

イベント

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

新規会員登録無料のご案内

  • ・全ての過去記事が閲覧できます
  • ・会員限定メルマガを受信できます

メールバックナンバー

アクセスランキング

アクセスランキング