SHOEISHA iD

※旧SEメンバーシップ会員の方は、同じ登録情報(メールアドレス&パスワード)でログインいただけます

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

CodeZineニュース

Microsoft Research、CPU上で動作する1ビットコンパクトLLM「BitNet b1.58 2B4T」を発表

  • X ポスト
  • このエントリーをはてなブックマークに追加

  • X ポスト
  • このエントリーをはてなブックマークに追加

 マイクロソフトの研究チームMicrosoft Researchは、オープンソースの新大規模言語モデル「BitNet b1.58 2B4T」を開発した。

 4兆トークンのコーパスでトレーニングされたこのモデルは、20億パラメータスケールの、ネイティブ1ビットLLMである。同様のサイズの主要なモデルに匹敵するパフォーマンスを達成できると同時に、計算​​効率(メモリ、エネルギー、レイテンシ)において大きな利点を提供できる。

 このモデルのアーキテクチャはTransformerベースで、BitNetフレームワークで変更されている。

 量子化については、フォワードパス間で絶対平均量子化 (AbsMean Quantization)を使用して、各重みが「-1」「0」「+1」の3値に量子化する。アクティベーションは、絶対平均量子化で8ビットの整数に量子化される。トレーニング後に量子化されるのではなく、この量子化スキームを使用して最初からトレーニングされている点が特徴。

 現在、Hugging Faceでモデルウェイトのいくつかのバージョンが利用可能。詳細なコンパイル手順や使用例、コマンドラインオプションについては、bitnet.cpp GitHubリポジトリを参照。

関連リンク

この記事は参考になりましたか?

  • X ポスト
  • このエントリーをはてなブックマークに追加
この記事の著者

CodeZine編集部(コードジンヘンシュウブ)

CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。

※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です

この記事は参考になりましたか?

この記事をシェア

  • X ポスト
  • このエントリーをはてなブックマークに追加
CodeZine(コードジン)
https://codezine.jp/article/detail/21437 2025/04/24 12:00

おすすめ

アクセスランキング

アクセスランキング

イベント

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

新規会員登録無料のご案内

  • ・全ての過去記事が閲覧できます
  • ・会員限定メルマガを受信できます

メールバックナンバー

アクセスランキング

アクセスランキング