初級問題「道路の横切り」をChatGPTに解かせた結果
初級問題は、道路の横入りをテーマに移動距離が変数として与えられ、交差点を横切る回数に対する質問に答えるものだ。条件分岐、繰り返し構文などの基本的な構造化プログラミング問題だ。基本的な実装能力を測ることができる。
株式会社ギブリーの「Track Test」カスタマーサクセスリーダー田島聖也氏は、まずはじめに検証結果をサマリーを述べた。初級の問題であっても、一度ChatGPTにそのまま入力するだけでは満点の回答は得られなかった。だが、出力内容に対して適切な指示や修正を加えることで、満点を取ることができた。
「コードの内容を含めて、一部ChatGPT特有の記述や過剰な記述部分もあるが、合格を出せるラインまで到達することができてしまうと思っています」（田島氏）
10X石田氏がChatGPTで解いてみた結果と所感は？
10X石田氏は、まずTrackの問題がコピー＆ペーストできなかったので、ブラウザの検証からCSSのクラスを取って問題をコピーし、ChatGPTに入力して解答をもらうようにした。メモリ不足など、Trackに入れるとエラーになってしまう入力に対しては、都度指摘して直してもらいながら、18分で全問正解。全問正解するまで、全く問題を読んでない状態で解くことができた。
「解かれたコードを試験官として見てみると、細かい改善点などはあったものの、ちゃんと整理できていて、満点も取っているので合格だと思っている」（石田氏）
GMO津田氏がChatGPTで解いてみた結果と所感は？
GMO津田氏も同じく、Trackの問題文をChatGPTに入力して解答を得ようとしたものの、標準入出力を伝えるのに苦戦。問題を見ながら、ポイントごとに分けて聞くことで、無事満点を得た。
所感としては、Devツールや正規表現などの予備知識は必要だという。また、書かれたコードは特に問題はないが、かなり過剰に書いているtoo muchなコードに見受けられた。
「採用プロセスでは、書かれたコードはディスカッション目的としてるので、もう少しシンプルにするにはどうしたらいいかを質問しながら進められるといいと思いました」（津田氏）
自力で解いた場合とChatGPTを利用した場合の違いを比較する
続いて、2つのテーマについてディスカッションが行われた。1つ目のテーマは、「自力で解いた場合とChatGPTを利用した場合ではアプローチが異なるか」。10Xの石田氏、GMO津田氏ともに、構造が理解できてうまく使いこなせるのであれば、「ChatGPTの方が断然速い」と回答している。
2つ目のテーマは、「未経験やプログラミングの経験が浅い人が挑んだ場合も有効な解答が得られるか」。GMO津田氏は、「コーディング試験後のディスカッションを通して、どのようなアプローチで解いたかを語れるのであれば評価できる。新しく評価軸が加わった印象を持った」と語っている。
一方、10Xの石田氏も「Trackの使い方や概念を理解していれば、プログラム経験が浅くても解答できるのでないか」とポテンシャルの高さと採用の判断軸としての有効性を述べた。
