AIエンジニア必見！ 実践から見る、マルチモーダルRAG最前線

【16-C-5】マルチモーダルRAGの社会実装への技術アプローチ

　昨今、注目が高まっているマルチモーダルRAG（Retrieval-Augmented Generation）。ギブリーの法人向け生成AI活用ツール「法人GAI」では、すでにテキストベースのRAGが実装されているが、今後マルチモーダルRAGへとさらなる進化を遂げるべく、目下、技術開発に取り組んでいる最中だ。そのようななか、Developers Summit 2024（デブサミ2024）では同社AIエンジニアの鈴木岳之氏と、取締役 兼 株式会社Resola 代表取締役社長 奥田栄司氏が登壇。マルチモーダル技術の進化の歴史を振り返るとともに、マルチモーダルRAGの具体的な応用事例について語った。

マルチモーダルRAGとは何か

　「HR Tech」「Marketing DX」「Operation DX」と、異なるDX領域で複数のSaaSを展開しているギブリー。2023年4月には、企業が安心・安全にChatGPTを利用できる法人向けGPTプラットフォーム「法人GAI」もリリースしており、認知度が高まっているところだ。

　今回のテーマであるマルチモーダルRAGとは、そもそも何なのか。これを解説する前にRAGとは何かについて、鈴木氏は次のように語った。「日本語訳すると検索拡張生成。LLMだけでは足りないようなドキュメントや外部情報を取り込むことでハルシネーションを抑える効果がある」。

株式会社ギブリー AIエンジニア 鈴木岳之氏

　RAGの実装フローとしては、まず外部テキストをベクトル化してデータベースに入れておく。その後、実際にユーザーからクエリが入力されると、ベクトルの中で類似度の高いものとクエリそのものをインプットとして、GPT4（LLM）に入れ、アウトプットをユーザーに返す。

　次に、マルチモーダルとは何か。これは、複数のデータ形式（ドキュメント・画像・動画・音声・表など）が混在している状態を指す。鈴木氏はマルチモーダルの例として、以下の図（出典：労働力調査の結果（総務省統計局））を示した。

テキスト・表・図の3つのモーダリティを持ったマルチモーダルPDFの例

　これらを踏まえて、マルチモーダルRAGとは何かをフローで見ると、最初に外部テキストを取り込んでいたところに画像や表といったものが加わることで、インプットされる場所がGPT4からGPT4v（マルチモーダルLLM）へと置き換わる。

　マルチモーダルRAGの構成要素は、「画像の特徴量抽出」「テキストの特徴量抽出」「OCR／Document Layout Analysis／Table to Text」「テキスト生成」「Open AIのモデル」となっている。

　鈴木氏の解説を受け、「お客様から『PDFを読み込んで回答させたい』という依頼をよくいただくが、画像や表が多いものは精度が低いと感じていた。マルチモーダルRAGに対応できれば、こうした問題も解決できそうだ」と感想を述べた奥田氏。加えて、「構成要素を見てみると、昔からある技術も使われているようだが、マルチモーダルRAGの技術が発展してきた背景には、どんなブレイクスルーがあったのかを知りたい」と語り、次に話を進めた。

株式会社ギブリー 取締役 兼 株式会社Resola 代表取締役社長 奥田栄司氏