思いがけない記事を身近な写真からレコメンド
2例目はスマートフォンの画像からニュース記事を推薦するものだ。一般的に、ニュースサイトでおすすめされる記事は過去の閲覧履歴や、ユーザーが登録した興味ある分野から選出される。新規登録した読者にとっては「何から読み始めたらいいか分からない」、閲覧傾向に基づく推薦でもあまり刺さるものがないと、閲覧習慣が定着せずにサービス離脱も起きてしまう。
そこで読者にとって慣れ親しんだ分野の記事ばかりではなく、新たな興味関心の発見につながる記事を推薦する方法はないだろうかと石原氏らは考えていた。ニュースサイトには多種多様な記事であふれている。身の回りを見渡したとき、そこにあるものと関連していて、興味を引くような記事を提示できないかという模索からつながった実験だ。
ここでの実験は、まず画像を入力し、画像内から物体名を視覚言語モデル（Gemini 1.0 Pro Vision）から抽出し、日経電子版にあるニュース記事を全文検索システム（Elasticsearch）で検索して推薦する。
インプットとなる画像は身近にあるものということで、オフィス、寝室、パン屋、キッチン、クローゼットの5カテゴリのデータセットを使う。実験の参加者はそれぞれのカテゴリから1枚選び、その画像から推薦された記事を評価する。
評価観点は関連性（提示された物体名やニュース記事が妥当だと感じる）、新規性（提示された物体名やニュース記事を知らなかった）、意外性（提示された物体名やニュース記事をシステムのおかげで発見できたと感じる）、これらを満たすかどうかだ。3つの評価観点の全てを満たせばセレンディピティがあると判断する。
例えば以下の画像だとデスク、ベッド、ランプなどの物体が抽出され、これらに対して5件のニュース記事「中小型株、地味にスゴい コメ兵やフランスベッド」「乳幼児用バウンサーの安全基準改正 米国で窒息死多発」「静岡のSUS、仮眠用個室生む2段ベッド JR東と開発」などが選出された。これらを実験参加者が関連性、新規性、意外性を判断するという地道な実験でもある。
なお上記で1本目に選出された「中小型株、地味にスゴい コメ兵やフランスベッド」は日経ヴェリタスの記事で、中小型株の動向について深い分析でまとめられたものだ。石原氏は「なかなか普段のニュースを見るなかでは気づきにくいものなので、そうしたものをお届けできたら魅力的なアプローチになるかなと考えているところです」と話す。
今回の実験では推薦したなかからセレンディピティがあると評価されたものは全体の12％ほど。そのため石原氏は「9枚の記事を提供すると1枚くらいはいい記事が提供できているのかなという比率で、これが大きいか小さいかはこれから議論していくところです」と話す。
詳しい手法や評価結果は2024年11月に発表した論文「ニュースを身近に：日常風景からのニュース推薦」（第210回ヒューマンコンピュータインタラクション・第84回ユビキタスコンピューティング合同研究発表会）に掲載されている。
マルチモーダルAIや生成AIとなるとRAG（検索拡張生成）の話題になりがちだが、石原氏は「マルチモーダルAIには、RAG以外にも泥臭いような業務を改善する余地があるのではないかと考えています。新聞社の研究開発部門として、いろんなことを試していくつもりです。あくまで目的は概念検証ですので、できるだけ実装には時間をかけずに分析や評価に時間を割きたいと考えています」と話す。
