日本経済新聞社の最新研究事例に学ぶ、マルチモーダルAI活用の勘所
【Session3】マルチモーダル AI 実装の課題と解決策
紙媒体の資料をマルチモーダルAIで読み解く
ここからは日本経済新聞社の研究開発部署「日経イノベーション・ラボ」による、Geminiを用いた技術検証結果に移ろう。本稿では同部署で実施した生成AIの概念検証から、政治資金収支報告書からの情報抽出と画像からのニュース記事推薦の2例について紹介する。
なお発表した上席研究員 石原祥太郎氏はGoogle Cloud Champion Innovator(AI/ML)でもあり、近著に『事例でわかるMLOps 機械学習の成果をスケールさせる処方箋』(講談社)がある。同部署でPoCを実施する理由として「日経テレコンや日経電子版など代表的なプロダクトが存在するなか、次なる種を開拓していくことが新しい時代のニュースメディアとして大切だと捉えています」と話す。
まず1例目、政治資金収支報告書からの情報抽出だ。政治資金収支報告書とは政治団体の1年間の収支を記した報告書で、一般的には総務省や各政党のサイトで掲載されており、基本的には紙媒体の書類をスキャンした画像となる。フォーマットはバラバラで、手書きや修正印がついた修正もある。
実験では画像を読み込み、マルチモーダルAIで構造認識して表形式で出力する。なかにはマルチモーダルAIにかける前に、OCRでテキスト抽出したものも比較対象とした。これらの出力結果を、モデルごとに比較対象となる表構造との類似度で評価した。
使用したモデルはGemini(Google DeepMind)、Claude(Anthropic)、GPT-4(OpenAI)など。2024年5月に論文に掲載した実験結果のなかでは、Claude 3 OpusにOCRを組み合わせたものが最も類似度が高くなった。ひと手間かけることになるが、現時点ではOCRをかけてからAIで処理するほうが精度が高くなるようだ。
またこの抽出結果の活用として、各種政治団体の収入グラフネットワークを作成した。それぞれの団体にどのようなルートで、どのような収入(事業収入、交付金、寄付、パーティー関連)があったのかを可視化できる。これまで人間が分析していたお金の流れをこうして可視化することで、「ジャーナリズムの1つの意義である監視といったところに活用できるのでは」と石原氏は言う。
詳しい手法や評価結果は2024年5月に発表した論文「マルチモーダルな深層学習手法を用いた政治資金収支報告書の判読の試み」(2024年度日本選挙学会総会・研究会)に掲載されている。
この記事は参考になりましたか?
- Developers X Summit 2024 セッションレポート連載記事一覧
- この記事の著者
-
加山 恵美(カヤマ エミ)
フリーランスライター。茨城大学理学部卒。金融機関のシステム子会社でシステムエンジニアを経験した後にIT系のライターとして独立。エンジニア視点で記事を提供していきたい。EnterpriseZine/DB Onlineの取材・記事や、EnterpriseZine/Security Onlineキュレーターも担当しています。Webサイト:http://emiekayama.net
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
-
-
CodeZine編集部(コードジンヘンシュウブ)
CodeZineは、株式会社翔泳社が運営する開発者のための情報メディアです。日々の開発に取り組むエンジニアやテクノロジーを学びたい方に向けて、プログラミングやAI活用、開発ツール、エンジニアの学びとキャリアに関する記事をお届けしています。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
提供:グーグル・クラウド・ジャパン合同会社
【AD】本記事の内容は記事掲載開始時点のものです 企画・制作 株式会社翔泳社
この記事は参考になりましたか?
この記事をシェア
