OpenAIは、会話形式でやり取りする言語モデル「ChatGPT」を、11月30日（現地時間）にリサーチプレビュー公開した。リサーチプレビュー中は無料で使用できる。
ChatGPTは、対話形式によってフォローアップの質問に答えたり、間違いを認めたり、間違った前提に異議を唱えたり、不適切な要求を拒否したりすることが可能なInstructGPTの兄弟モデルであり、プロンプトの指示に従って詳細な応答を提供するようトレーニングされている。
InstructGPTと同じ方法を使用して、人間のフィードバックからの強化学習（RLHF）を使用してトレーニングされているが、データ収集の設定がわずかに異なり、トレーナーが回答を作成するのに役立つよう、モデルが作成した提案にアクセスできるようにしたという。
強化学習の報酬モデル作成にあたっては、AIトレーナーがチャットボットと行った会話を用いており、モデルによって書かれたメッセージをランダムに選択し、いくつかの代替補完をサンプリングして、AIトレーナーにそれらをランク付けさせた。このようにして作成された報酬モデルを、Proximal Policy Optimizationを使用して微調整するプロセスが、数回繰り返されている。
なお、ChatGPTは2022年初頭にトレーニングを終了したGPT 3.5シリーズのモデルから微調整されており、ChatGPTとGPT 3.5はAzure AIスーパーコンピューティングインフラストラクチャでトレーニングされた。
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
