Googleは、6月10日、実験的なオープンモデル「DiffusionGemma」を発表した。
これは、テキスト拡散という、高速なテキスト生成手法を探究する実験的なモデル。一般的な自己回帰型大規模言語モデルと異なり、テキストのブロック全体を同時に生成することで、専用GPU上で最大4倍高速な推論を実現する。
DiffusionGemmaは、インライン編集や迅速な反復処理、非線形テキスト構造の生成など、速度が重要なインタラクティブなAIアプリケーションを開発する開発者のニーズに沿って設計されている。
デコードのボトルネックをメモリ帯域幅から演算処理に移行することで、高速なトークン出力を実現しつつ、合計26Bのエキスパート混合モデル（MoE）として動作し、アクティブパラメータはわずか3.8Bに収まる。
また、インテリジェントな自己修正機能を備え、出力を繰り返し改善することで、テキストブロック全体を一度に評価し、リアルタイムで誤りを修正する。ファインチューニングを行うことで、特定のタスクにおけるパフォーマンスを向上させることも可能である。
DiffusionGemmaは速度と並列生成を優先し、全体的な出力品質は標準のGemma 4よりも低くなる実験的なモデルであるため、高い品質が求められる本番環境ではGemma 4の利用が推奨されている。
テキスト拡散の仕組みは、画像を繰り返し洗練して鮮明にしていくAI画像生成と同様。モデルは、ランダムなプレースホルダトークンで構成されたキャンバスから処理を開始し、複数回の処理を経て正しいトークンを確定する。それらを文脈の手がかりとして残りを精緻化していく。
DiffusionGemmaのウェイトはApache 2.0ライセンスの下で公開されており、Hugging Faceからダウンロード可能。詳細はブログポストから確認できる。
- 関連リンク
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
