スーパーコンピューター「kukai」の実現により完成された
データドリブンなエコシステムがもたらす新たな価値
冒頭の基調講演で、同社 最高技術責任者(CTO)の藤門千明氏は「未来へ続く話をしよう(Let's talk about where we go from here)」というテーマで、Yahoo! JAPANが未来をつくるということはどういうことなのかを語った。
創業から23年を数えるヤフーが創業当時から変わらずやり続けていることとして、藤門氏がまず言及したのが「インターネットやテクノロジーを使った、ユーザーのアクションの最大化」だ。
ヤフーでは、Yahoo!ニュース、Yahoo!検索などの情報取得の起点となるメディアから、Yahoo!ショッピング、ヤフオクといったイーコマース、最近ではQRコード決済のPayPayといったオフラインの領域まで、100を超えるさまざまなサービスを展開している。月間のログインユーザーID数も直近6年で2000万近く増え、2018年度の第2四半期末時点で4500万を超えているという。また、基本すべてのサービスは内製化しており、エンジニアとデザイナーがテクノロジーやデザインを日々磨きこんでいる。
中でも検索技術、アドテクノロジー、UI/UXなど、さまざまな領域を横断してテクノロジーを進化させる共通要素として、藤門氏は「データ」と「AI」を挙げた。
近年、Google・Apple・Facebook・Amazonといった個人データを活用することで高い時価総額を記録している企業が「GAFA(ガーファ)」と注目されているが、ヤフーでもユーザーのアクションを最大化させるために、10年以上前からデータ活用に注目し、取り組んでいるという。
データドリブンなエコシステムを実現させる3つの要素として、藤門氏は「データ」「AI」「コンピューティングパワー」の3つを挙げ、前者2つは当時からヤフーに備わっていたが、コンピューティングパワーの部分が不足していたと説明した。
もちろん、それなりの量のサーバー群を社内で抱えていたが、機械学習や深層学習で十分な学習モデルを作成するには不足していた。そこで2015年、スーパーコンピューターを内製する試みが始まった。スパコンの名前は「kukai(クウカイ)」だ。
特徴は、GPUの冷却に空気ではなく液体を用いる「液浸冷却」と、国土が狭く電気料金が高い日本に適した「省エネ性能」で、いくつもの苦労を乗り越えて、2017年6月には、スーパーコンピューター(スパコン)の省エネ性能ランキング「Green500」において世界第2位を獲得した。
ハードウェアの面でも乗り越えるべき技術的課題は多々あったが、特に苦心したのがスパコンのパフォーマンスチューニングだという。スパコン作製が専業ではないヤフーでは、その辺りのノウハウがなかった。そこで、ここでもデータとAIを活用することで、エンジニア2名だけで最終的に14.04GFlops/wattsの性能を達成したそうだ。
これにより、データドリブンなエコシステムを支える3つの主要要素が揃ったヤフーでは、さまざまなサービスでkukaiの活用が進められている。例えば、「ヤフオク」の出品における偽物検知では、GPUを使った従来のサーバーで学習モデルの作成に110時間かかっていたものを1時間半に短縮し、不正出品の検出の精度を向上させた。また、ユーザー生成コンテンツ(UGC)サービスの「ヤフー知恵袋」では、不快な質問を排除するため、6億件の質問全文を機械学習してアルゴリズムを作成するのに従来9か月かかっていたが、1日強に圧縮することができたという。このように、エンドユーザーが安心・快適に使えるようにサービスがさらに改善されている。