メタデータ管理は全ての事業の基礎となる――多彩なサービスを提供するYahoo! JAPANが立ち向かう、データ管理についての課題と挑戦【デブサミ2017】

【16-A-1】「データテクノロジースペシャル」Yahoo! JAPANにおけるメタデータ管理の試み

　Yahoo! JAPANは、種類、量ともに増え続けるビッグデータをいかに資産化し、活用できる状態にしていくかという課題に挑み続けている。同社の吉野彰真氏が所属するデータ＆サイエンスソリューション統括本部は、全社的なデータ利活用を考える共通部門で、吉野氏はデータマネジメント領域を担当している。本セッションでは、データマネジメント領域におけるYahoo! JAPANの取り組み――特に、データの所在や概要を示すメタデータの収集・管理について、検討しているソリューションや管理上のポイントなどが語られた。

• 講演資料：「データテクノロジースペシャル」Yahoo! JAPANにおけるメタデータ管理の試み

ヤフー株式会社 データ＆サイエンスソリューション統括本部 データサービス本部 吉野彰真氏

ビッグデータを駆使するデータドリブン企業を目指す

　「Yahoo! JAPAN」は2016年4月に20周年を迎えた。サービス開始当初の月間ページビューは約30万だったが、現在は600億以上と、多くのユーザーが利用するWebサイトに成長した。事業面でもサービス開始以来、増収増益が続いている。さらに、インターネット企業の時価総額をグローバルで見るとYahoo! JAPANは18位と言われており、日本国内のインターネット企業では最も高くなっている。

　ユーザー数に目を向けると、2016年の実績は1日あたり約9000万ユニークブラウザ（サービスの訪問者数をブラウザ単位で集計した値）であり、多くの人々が使っていることがうかがえる。

　Yahoo! JAPANは創業時からの主力サービスである検索だけでなく、複数の領域にまたがる事業を展開していることに特徴がある。例を挙げると、メディアサービスの「Yahoo!ニュース」や「Yahoo!知恵袋」、ｅコマースサービスの「Yahoo!ショッピング」や「ヤフオク!」、そして、決済サービスの「Yahoo!ウォレット」や「Yahoo! JAPANカード（クレジットカード）」などだ。このような、多岐にわたる事業領域において、有力なサービスを複数抱える企業は世界的にも珍しいという。

米国の専門企業と比較すると、Yahoo! JAPANは幅広い領域で事業を展開していることが分かる

　しかし吉野氏は、「私たち（Yahoo! JAPAN）はもっと人々や社会の課題を解決していきたいと思っている」と、語る。そのために、インターネットでサービスを展開する「ネット企業」から、さらに発展した「データドリブン企業」へ変わっていきたいという強い思いがあるという。

　最近は、「AI」や「ディープラーニング」「シンギュラリティ」などがホットなワードとなっており、状況次第では産業革命に匹敵する影響を世の中におよぼすといわれている。「AIを作っていく中で、最も重要なのはデータ」と、吉野氏は解説する。なぜなら、データを入力して学習させなければ、AIの認知能力が向上することもないからだ。そのため、AIを扱うのであれば、ビッグデータについても併せて考える必要がある。

　Yahoo! JAPANはこのビックデータを最大の強みにしていきたいと考えている。先述した通り、Yahoo! JAPANのサービス領域は多岐にわたる。つまり、マルチなデータセットを持っているということである。

　Yahoo! JAPANの多様なサービスをユーザーが利用するとデータが貯まる。AIなどを駆使してそのデータから気づきを得る。さらに気づきからサービスを改善したり、新しい機能を提供したりすることで、より多くの人に使ってもらえる。その結果、さらに多くのデータが集まる――このサイクルはデータ＝エコシステムの源泉となり、「無限の再帰性」を生み出す可能性を秘めている。吉野氏は「このようにデータから得た気づきを最大限に活用して、Yahoo! JAPANにしかできない提案・サービスを提供していきたい」と、語った。

　では、「ビッグデータの無限の再帰性」を生むためには、どのようなポイントがあるのだろうか？ 吉野氏は、自身の専門でもあるデータを、いかに効率よく運用していくかに注目し、次のように解説した。

　現在のYahoo! JAPANは、月間で約674億（2016年10-12月の平均）のページビューがある。これらの膨大なアクセスデータを保持するプラットフォームにはHadoopやRDB、NoSQL、Object Strage（社内で管理しているクラウドストレージ）、DWH（データウェアハウス）などが使用されている。その中でも、Hadoopには7000ノード／150ペタバイトという膨大なデータが蓄積されている。

膨大なアクセスデータを保持するプラットフォーム

　また、Yahoo! JAPANはオープンソースの活用を進めており、2015年からは米国のHortonworks社との共同開発を実施している。さらに、2016年には技術力のさらなる強化を目的として、シリコンバレーに拠点を開設した。

　吉野氏は「データを蓄積するプラットフォームは充実している。これからは、増え続けるボリュームに対してどこまで価値を引き出し、サービスに生かしていけるか――投資した分どれだけリターンがあるのか、考慮しないといけない段階に入ってきている」と、語る。

　そこで重要となるのが、プラットフォーム管理にとどまらない、データそのもののマネジメントだ。吉野氏は続けて、「データは資産なので、その資産価値を最大化する活動をしなくてはいけない。それがデータマネジメントだ、という定義をしたい」と、述べた。