SHOEISHA iD

※旧SEメンバーシップ会員の方は、同じ登録情報(メールアドレス&パスワード)でログインいただけます

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

CodeZineニュース

「OpenFlamingo」が公開、大規模マルチモーダルモデルを学習・評価するためのフレームワーク

  • X ポスト
  • このエントリーをはてなブックマークに追加

  • X ポスト
  • このエントリーをはてなブックマークに追加

 独LAIONは、DeepMindのFlamingoモデルをオープンソースで再現した、OpenFlamingoを3月28日(現地時間)にリリースした。

 OpenFlamingoは、大規模なマルチモーダルモデル(LMM)のトレーニングと評価を可能にするフレームワークで、今回のリリースではFlamingoスタイルのLMMをトレーニングするためのPythonフレームワークと、画像とテキストが交互に並ぶ大規模なマルチモーダルデータセット、視覚言語タスクのコンテキスト内学習評価ベンチマークを備えており、LLaMAに基づくOpenFlamingo-9Bモデルの最初のバージョンとなっている。

 OpenFlamingoの実装は、おもにFlamingoの実装に従っており、Flamingoモデルはテキストと画像が混在する大規模なWebコーパスでトレーニングされる。元のFlamingo論文で提案されていたものと同じアーキテクチャ(Perceiver resampler、cross-attention layer)を実装しているが、Flamingoのトレーニングデータは公開されていないため、モデルのトレーニングにはオープンソースのデータセットを使用している。今回リリースされたOpenFlamingo-9Bチェックポイントは、新しいMultimodal C4データセットの500万サンプルと、LAION-2Bの1000万サンプルでのトレーニングが行われた。

 Multimodal C4データセットは、T5モデルのトレーニングに使用されたテキストのみのC4データセットを拡張したもので、C4 en.cleanデータセットの各ドキュメントについてCommon Crawlから元のWebページを取得して、ダウンロード可能な画像を収集している。広告などの無関係な画像を排除するためのデータクリーニングは、重複排除とコンテンツフィルタリングによって実行された。さらに、顔検出を実行して正の識別を含む画像を破棄し、最後にドキュメント内で2部マッチングを使用して画像と文章が交互に配置される。

 OpenFlamingoは、多様な視覚言語タスクに対応できるマルチモーダルシステムを目指して開発されており、最終的には視覚入力とテキスト入力の処理において、GPT-4のパワーと汎用性に匹敵することが目標となる。

関連リンク

この記事は参考になりましたか?

  • X ポスト
  • このエントリーをはてなブックマークに追加
この記事の著者

CodeZine編集部(コードジンヘンシュウブ)

CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。

※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です

この記事は参考になりましたか?

この記事をシェア

  • X ポスト
  • このエントリーをはてなブックマークに追加
CodeZine(コードジン)
https://codezine.jp/article/detail/17604 2023/03/31 08:00

おすすめ

アクセスランキング

アクセスランキング

イベント

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

新規会員登録無料のご案内

  • ・全ての過去記事が閲覧できます
  • ・会員限定メルマガを受信できます

メールバックナンバー

アクセスランキング

アクセスランキング