米xAIは、大規模言語モデル「Grok-1」の、基本モデルの重みとネットワークアーキテクチャを、3月17日（現地時間）にリリースした。
Grok-1は、同社がJAXとRust上のカスタムトレーニングスタックを使用してゼロからトレーニングした、3140億パラメータで与えられたトークンに対して重みの25％がアクティブなMixture-of-Expertsモデルとなる。
今回リリースされた基本モデルの重みとネットワークアーキテクチャは、2023年10月に終了した事前トレーニングフェーズにおける生の基本モデルチェックポイントであり、対話など特定のアプリケーション向けに微調整が行われていないことを意味している。
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
