H Companyは9月3日（現地時間）、新たな多言語・マルチモーダルエンコーダ「NeoMME」ファミリーを発表した。NeoMMEは260Mと800Mの2モデルからなり、従来の生成型視覚言語モデルで必要とされてきた個別のビジョンエンコーダやカジュアル言語モデルを持たず、単一の双方向Transformerでテキストと画像パッチを処理する構造となっている。
NeoMMEは画像・テキスト双方を同じモデルで扱うことで、事前学習やファインチューニング、推論を効率化可能とした。また、画像を32×32パッチに分割し直接入力、テキストは独自のBPEトークナイザーによる13万1000の語彙で多言語対応としている。さらに、マスキングを活用したノイズ除去型目標で事前学習し、画像とテキストの関係性も学習する。
NeoMMEは文書画像検索タスクでファインチューニングされ、DenseおよびLate-Interactionヘッドを一括で返すリトリーバーも用意した。パラメータ数260Mのモデルは、ViDoRe v3ベンチマークで同規模以下の既存モデルを上回るnDCG@10スコア0.523を記録した。1ページあたり51ページ/秒のエンコード性能や、階層型トークンプーリングや量子化による圧縮により、高解像度画像でも1ページあたり6kBまでストレージを削減可能だ。
すべての学習済みチェックポイントはApache 2.0ライセンスで公開され、Hugging Face Transformersから利用できる。
- 関連リンク
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営する開発者のための情報メディアです。日々の開発に取り組むエンジニアやテクノロジーを学びたい方に向けて、プログラミングやAI活用、開発ツール、エンジニアの学びとキャリアに関する記事をお届けしています。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
この記事は参考になりましたか？
この記事をシェア
