た。
ZAYA1-8Bは、AMD Instinct MI300スタック上でトレーニングされたエキスパート混合（MoE）モデル。特に数学やコーディングといったタスクにおいて、詳細な長文推論を得意とする。
アクティブパラメータが10億未満でありながら、推論・数学・コーディングのベンチマークで優れたパフォーマンスを発揮し、Gemini-2.5-Pro、Claude 4.5 Sonnetなどと互角の性能を備えている。
本モデルは、独自のアーキテクチャ、事前学習手法、強化学習パイプラインを組み合わせることで効率性を実現している。特にアーキテクチャについては、3つの革新的なポイントを備えている。一つ目はZyphraが開発したアテンション機構「Compressed Convolutional Attention（CCA）」、二つ目はMLPベースのルーターの採用、三つ目は残差ノルムの増加をコントロールする学習型残差スケーリングである。
現在、ZAYA1-8BはApache-2.0ライセンスの下でリリースされており、Zyphra Cloudから利用可能となっている。
- 関連リンク
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
