「OpenFlamingo」が公開、大規模マルチモーダルモデルを学習・評価するためのフレームワーク

　独LAIONは、DeepMindのFlamingoモデルをオープンソースで再現した、OpenFlamingoを3月28日（現地時間）にリリースした。

　OpenFlamingoは、大規模なマルチモーダルモデル（LMM）のトレーニングと評価を可能にするフレームワークで、今回のリリースではFlamingoスタイルのLMMをトレーニングするためのPythonフレームワークと、画像とテキストが交互に並ぶ大規模なマルチモーダルデータセット、視覚言語タスクのコンテキスト内学習評価ベンチマークを備えており、LLaMAに基づくOpenFlamingo-9Bモデルの最初のバージョンとなっている。

　OpenFlamingoの実装は、おもにFlamingoの実装に従っており、Flamingoモデルはテキストと画像が混在する大規模なWebコーパスでトレーニングされる。元のFlamingo論文で提案されていたものと同じアーキテクチャ（Perceiver resampler、cross-attention layer）を実装しているが、Flamingoのトレーニングデータは公開されていないため、モデルのトレーニングにはオープンソースのデータセットを使用している。今回リリースされたOpenFlamingo-9Bチェックポイントは、新しいMultimodal C4データセットの500万サンプルと、LAION-2Bの1000万サンプルでのトレーニングが行われた。

　Multimodal C4データセットは、T5モデルのトレーニングに使用されたテキストのみのC4データセットを拡張したもので、C4 en.cleanデータセットの各ドキュメントについてCommon Crawlから元のWebページを取得して、ダウンロード可能な画像を収集している。広告などの無関係な画像を排除するためのデータクリーニングは、重複排除とコンテンツフィルタリングによって実行された。さらに、顔検出を実行して正の識別を含む画像を破棄し、最後にドキュメント内で2部マッチングを使用して画像と文章が交互に配置される。

　OpenFlamingoは、多様な視覚言語タスクに対応できるマルチモーダルシステムを目指して開発されており、最終的には視覚入力とテキスト入力の処理において、GPT-4のパワーと汎用性に匹敵することが目標となる。