Hugging Faceは10月15日（現地時間）、Metaのオープンウェイトモデル「Muse Spark Open」を紹介するブログ記事を公開した。同モデルはMixture-of-Experts（MoE）モデルで、テキスト、画像、音声、動画を入力として受け付け、テキストを生成する。エージェント型のコーディング向けにトレーニングされている。
総パラメータ数は約8160億、トークンあたりのアクティブパラメータは約420億である。各MoEレイヤーは256のエキスパートを持ち、トークンごとに8つが選択される。コンテキストウィンドウは最大100万トークン。チェックポイントはBF16とNVFP4の2形式で提供される。TransformersではBF16版がH200 8基構成の4ノードで、NVFP4版がB200の1ノードで動作する。想定用途は、コードベースの読解、コードの記述とデバッグ、ツール呼び出しである。スクリーンショットや音声メモ、画面録画を入力として扱いながらコードの作業を進められる。
同モデルはMuseシリーズのフルサイズモデルにあたる。8月にリリースされた小型の密モデル「Muse Glimmer」とは、同じトークナイザと語彙を用いる。推論はTransformers、llama.cpp、vLLM、SGLang、MLXに対応し、Inference Endpointsでのデプロイも可能だ。TRLによるLoRAファインチューニングの手順も紹介されている。推論の強度はlow、medium、high、xhighから選択できるが、推論をオフにすることはできない。
- 関連リンク
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営する開発者のための情報メディアです。日々の開発に取り組むエンジニアやテクノロジーを学びたい方に向けて、プログラミングやAI活用、開発ツール、エンジニアの学びとキャリアに関する記事をお届けしています。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
この記事は参考になりましたか？
この記事をシェア
