Hugging Faceは11月18日(現地時間)、MoEモデルのエキスパートをSSDから直接ストリーミングする手法を公式ブログで紹介した。Transformersを用いて、1800億パラメータの「Qwen3.8-Flash-Next」をメモリ32GBのMacBook M5で動作させ、MoE向け推論エンジン「Strata」に対しトークン生成速度で約6%差に迫ったという。
ルーターが選択したエキスパートのみをディスクから読み込み、デバイス上のキャッシュを全レイヤーで共有する事前確保済みの「スロットプール」として扱うことで、既存のgrouped_mmをそのまま利用できる。from_pretrainedのオプション「experts_offload」として実装されており、プルリクエスト(huggingface/transformers#50717)から試せる。APIはメンテナーと議論中である。
同モデルではエキスパートを3ビットに量子化して49GBをディスクに置き、12GiBをデバイス上にキャッシュした。最適化後の200トークンのデコードは13.9トークン/秒(Strataは14.8)、4Kプロンプトのプリフィルは228トークン/秒(同220)だった。
- 関連リンク
この記事は参考になりましたか?
- この記事の著者
-
CodeZine編集部(コードジンヘンシュウブ)
CodeZineは、株式会社翔泳社が運営する開発者のための情報メディアです。日々の開発に取り組むエンジニアやテクノロジーを学びたい方に向けて、プログラミングやAI活用、開発ツール、エンジニアの学びとキャリアに関する記事をお届けしています。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
この記事は参考になりましたか?
この記事をシェア
