米xAIは、大規模言語モデル「Grok-1」の、基本モデルの重みとネットワークアーキテクチャを、3月17日（現地時間）にリリースした。
Grok-1は、同社がJAXとRust上のカスタムトレーニングスタックを使用してゼロからトレーニングした、3140億パラメータで与えられたトークンに対して重みの25％がアクティブなMixture-of-Expertsモデルとなる。
今回リリースされた基本モデルの重みとネットワークアーキテクチャは、2023年10月に終了した事前トレーニングフェーズにおける生の基本モデルチェックポイントであり、対話など特定のアプリケーション向けに微調整が行われていないことを意味している。
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営する開発者のための情報メディアです。日々の開発に取り組むエンジニアやテクノロジーを学びたい方に向けて、プログラミングやAI活用、開発ツール、エンジニアの学びとキャリアに関する記事をお届けしています。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
この記事は参考になりましたか？
この記事をシェア
