AIに勝ち、人間のクイズ王にも勝った早押しクイズAIの実力
データサイエンティストが集うコミュニティ「PyData」ではデータ分析に関わるユーザーや開発者たちがツールやアイデアを共有している。コミュニティは世界各地に広がっており、日本では東京、大阪、札幌、沖縄の4か所。定期的に勉強会を開催しており、毎回著名なデータサイエンティストやデータ分析の専門家が登壇している。
4月25日には東京版コミュニティとなる「PyData.Tokyo」が18回目のミートアップを開催した。テーマは「データ分析コンペティションの勝ち上がり方」。前半はStudio Ousia CTO 山田育矢氏が早押しクイズAIについて、後半はFringe81株式会社 貫井駿氏がレコメントエンジンについて解説した。本稿では前半の早押しクイズAIに絞りレポートする。
登壇した山田氏は理化学研究所 客員研究員や慶應義塾大学 SFC研究所 上席所員も務めつつ、自身のことを「引き籠もり系エンジニア」と言う。中学のころからソフトウェアエンジニアとして活動を始め、学生時代に起業するなど豊富な経験を持つ。
近年ではWikipediaなどのデータの有効活用に目を向けており、国際学会で併設するコンペティションにも数多く出場している。優勝も少なくない。例えばツイートからのエンティティリンキングのコンペティション「#Microposts NEEL Challenge @ WWW（2015）」、ツイートからの固有表現抽出のコンペティション「Noisy User-generated Text Shared Task @ ACL（2015）」など。
今回山田氏が解説したのは2017年に開催された機械学習の国際会議「NIPS」に併設された早押し質問応答システムのコンペティション「Human-Computer QA Competition」のために開発した早押しクイズAIについて。このコンペティションで山田氏のAIはシステム間の対戦で優勝した。
優勝後にAIは人間チームとの対戦も果たした。人間チームはクイズ番組で優勝経験を持つクイズ王など、そうそうたる人間の代表が6人。なお人間チームは1つの質問につき1人1回ずつ回答できるため、1人が不正解でも残りの5人が回答できる。しかしAIは1つの質問につき回答できるのは1回のみ。人間チームに比べたら失敗が許されない。
対戦結果はAIが人間に大差（465ポイント対200ポイント）で勝利した。山田氏によると、観衆は最初のうちはAIが解答すると驚きの歓声を上げていたが、AIの圧倒的な強さを見るにつれAIが解答すると苦笑いに変わってきたそうだ。「またか」「ああやっぱりね」という感じだろうか。
クイズの質問は会場では読み上げられるものの、読み上げと同じペースで単語ごとに質問テキストがAI側にインプットされていく。そのためAIは音声認識処理は必要ない。早押しクイズなので、早い段階で回答できたほうが高いポイントを得られる。こうしたルールなので、速さも大事だが、不正解を出さないことも大事となる。
クイズの質問と解答はWikipediaにあるデータから出題される。そのため解答はWikipediaのあるエンティティ（エントリ）となる。実際の出題例は以下のとおり。
この国では、2015年9月の新しい憲法で7つの無名の州が発足した。 Seven unnamed states were created in this country as part of its new September 2015 constitution. また2015年には、マグニチュード7.8の地震が起き、その後に抗議団体が南側の国境を封鎖した。 Also in 2015, protestors blockaded this country’s southern border after it was struck by a 7.8 magnitude earthquake. 2008年に君主制の廃止を祝う3日間の休日が宣言され、共産党は重要な選挙に勝利した。 In 2008, its communist party won a pivotal election, after which a three day holiday was declared to celebrate the abolition of its monarchy. 2001年に王族の一人が9人の彼の家族を殺害する事件が起きて、王室に対する世論は冷ややかになった。 Sentiment towards its royal family was understandably low after one of its members killed nine of his family members in 2001. 首都がカトマンズにあるアジアの国はどこか。 Name this Asian country with capital Kathmandu.
この質問では、AIは最初の文の末尾にある「constitution」の部分で「ネパール」と回答し、正解した。お見事である。
