Googleは12月18日（現地時間）、エンコーダ・デコーダモデル「T5Gemma 2」を発表した。T5Gemma 2はGemma 3ファミリーに基づき、マルチモーダル（画像・言語統合）と長文対応能力を備える初のエンコーダ・デコーダモデルだ。
T5Gemma 2では、エンコーダとデコーダ間で単語埋め込みを共有し、デコーダの注意機構を一体化することで、パラメータ数と複雑性を削減した。モデルサイズは270M-270M（合計約370M）、1B-1B（約1.7B）、4B-4B（約7B）を提供し、省メモリ・高速な推論・オンデバイス利用に適する。
加えて、画像と言語を同時に扱い、最大128,000トークンの長文も処理可能だ。140以上の言語をサポートし、プログラミング、推論などでも従来モデルを超える性能を示している。事前学習済みモデルがHugging Faceなど複数のプラットフォームで公開済みだ。
- 関連リンク
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
