SHOEISHA iD

※旧SEメンバーシップ会員の方は、同じ登録情報(メールアドレス&パスワード)でログインいただけます

DeveloperZine(デベロッパージン)- エンジニアの意思決定を支える技術情報メディア ProductZine

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

CodeZineニュース

Hugging Face、180BのMoEモデルを32GBのMacで動かす手法を公開

CodeZine編集部[著]

 Hugging Faceは11月18日(現地時間)、MoEモデルのエキスパートをSSDから直接ストリーミングする手法を公式ブログで紹介した。Transformersを用いて、1800億パラメータの「Qwen3.8-Flash-Next」をメモリ32GBのMacBook M5で動作させ、MoE向け推論エンジン「Strata」に対しトークン生成速度で約6%差に迫ったという。

 ルーターが選択したエキスパートのみをディスクから読み込み、デバイス上のキャッシュを全レイヤーで共有する事前確保済みの「スロットプール」として扱うことで、既存のgrouped_mmをそのまま利用できる。from_pretrainedのオプション「experts_offload」として実装されており、プルリクエスト(huggingface/transformers#50717)から試せる。APIはメンテナーと議論中である。

 同モデルではエキスパートを3ビットに量子化して49GBをディスクに置き、12GiBをデバイス上にキャッシュした。最適化後の200トークンのデコードは13.9トークン/秒(Strataは14.8)、4Kプロンプトのプリフィルは228トークン/秒(同220)だった。

関連リンク

この記事は参考になりましたか?

この記事の著者

CodeZine編集部(コードジンヘンシュウブ)

CodeZineは、株式会社翔泳社が運営する開発者のための情報メディアです。日々の開発に取り組むエンジニアやテクノロジーを学びたい方に向けて、プログラミングやAI活用、開発ツール、エンジニアの学びとキャリアに関する記事をお届けしています。

※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です

この記事は参考になりましたか?

この記事をシェア

イベント

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

新規会員登録無料のご案内

  • ・全ての過去記事が閲覧できます
  • ・会員限定メルマガを受信できます

メールバックナンバー