米xAIは、AIチャットボット「Grok」の早期ベータ版を11月4日に公開した。利用するには待機リストに登録する必要があり、待機リストへの登録にはX(旧Twitter)のアカウントが必要になる。
xAIは、Grokについて「少しばかりのウィットと反骨心を持つ答えを返す」としており、ユーモアを解さない人にはお勧めしないとしている。またGrokはXへの書き込みからも学習しており、世界の最新の動きにも追随しているという。
Grokを駆動する大規模言語モデルは「Grok-1」という名称になっており、その前身である「Grok-0」は、Metaが開発した「LLaMA 2(70B)」に迫る性能を記録したが、訓練には半分程度のハードウェアしか使っていないとしている。そしてGrok-1は大規模言語モデルの性能を測る各種ベンチマークテストで、OpenAIの「GPT-3.5」を上回る性能を記録している。
xAIでは、推論と訓練のプログラムをRust言語と「Google JAX」、Kubernetesを利用して開発したとしている。そして訓練の際に大量のGPUを長期間に渡ってフル稼働させる際に、GPUの不良や故障などで発生する問題を避けるために、あらゆる問題を認識して、自動的に対処する分散システムを構築したとしている。
- 関連リンク
この記事は参考になりましたか?
- この記事の著者
-
CodeZine編集部(コードジンヘンシュウブ)
CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です