Shoeisha Technology Media

CodeZine(コードジン)

特集ページ一覧

スパコン「kukai」の実現により完成されたヤフーのデータドリブンなエコシステムと、全サービス「TLS 1.2」対応への挑戦【YJTC 2019】

  • ブックマーク
  • LINEで送る
  • このエントリーをはてなブックマークに追加
2019/01/26 18:10

 ヤフーは1月26日、エンジニア・デザイナー向けの技術カンファレンス「Yahoo! JAPAN Tech Conference 2019」を、東京ミッドタウンで開催した。Yahoo! JAPANを支える技術や取り組みを紹介するイベントで、単独での開催は今回で2回目となる。2016年、2017年は、翔泳社が主催する「Developers Summit」と併催されていた。

目次

スーパーコンピューター「kukai」の実現により完成された
データドリブンなエコシステムがもたらす新たな価値

 冒頭の基調講演で、同社 最高技術責任者(CTO)の藤門千明氏は「未来へ続く話をしよう(Let's talk about where we go from here)」というテーマで、Yahoo! JAPANが未来をつくるということはどういうことなのかを語った。

ヤフー株式会社 常務執行役員 チーフテクノロジーオフィサー(CTO) 藤門千明(ふじもん・ちあき)氏
ヤフー株式会社 常務執行役員 チーフテクノロジーオフィサー(CTO) 藤門千明(ふじもん・ちあき)氏

 創業から23年を数えるヤフーが創業当時から変わらずやり続けていることとして、藤門氏がまず言及したのが「インターネットやテクノロジーを使った、ユーザーのアクションの最大化」だ。

 ヤフーでは、Yahoo!ニュース、Yahoo!検索などの情報取得の起点となるメディアから、Yahoo!ショッピング、ヤフオクといったイーコマース、最近ではQRコード決済のPayPayといったオフラインの領域まで、100を超えるさまざまなサービスを展開している。月間のログインユーザーID数も直近6年で2000万近く増え、2018年度の第2四半期末時点で4500万を超えているという。また、基本すべてのサービスは内製化しており、エンジニアとデザイナーがテクノロジーやデザインを日々磨きこんでいる。

右肩上がりを続けるYahoo! JAPANのログインユーザーID数
右肩上がりを続けるYahoo! JAPANのログインユーザーID数

 中でも検索技術、アドテクノロジー、UI/UXなど、さまざまな領域を横断してテクノロジーを進化させる共通要素として、藤門氏は「データ」と「AI」を挙げた。

 近年、Google・Apple・Facebook・Amazonといった個人データを活用することで高い時価総額を記録している企業が「GAFA(ガーファ)」と注目されているが、ヤフーでもユーザーのアクションを最大化させるために、10年以上前からデータ活用に注目し、取り組んでいるという。

 データドリブンなエコシステムを実現させる3つの要素として、藤門氏は「データ」「AI」「コンピューティングパワー」の3つを挙げ、前者2つは当時からヤフーに備わっていたが、コンピューティングパワーの部分が不足していたと説明した。

 もちろん、それなりの量のサーバー群を社内で抱えていたが、機械学習や深層学習で十分な学習モデルを作成するには不足していた。そこで2015年、スーパーコンピューターを内製する試みが始まった。スパコンの名前は「kukai(クウカイ)」だ。

 特徴は、GPUの冷却に空気ではなく液体を用いる「液浸冷却」と、国土が狭く電気料金が高い日本に適した「省エネ性能」で、いくつもの苦労を乗り越えて、2017年6月には、スーパーコンピューター(スパコン)の省エネ性能ランキング「Green500」において世界第2位を獲得した。

液浸冷却を行うスパコン「kukai」の内部、写真上部のあたりで液体が満たされている様子を確認できる
液浸冷却を行うスパコン「kukai」の内部、写真上部のあたりで液体が満たされている様子を確認できる

 ハードウェアの面でも乗り越えるべき技術的課題は多々あったが、特に苦心したのがスパコンのパフォーマンスチューニングだという。スパコン作製が専業ではないヤフーでは、その辺りのノウハウがなかった。そこで、ここでもデータとAIを活用することで、エンジニア2名だけで最終的に14.04GFlops/wattsの性能を達成したそうだ。

 これにより、データドリブンなエコシステムを支える3つの主要要素が揃ったヤフーでは、さまざまなサービスでkukaiの活用が進められている。例えば、「ヤフオク」の出品における偽物検知では、GPUを使った従来のサーバーで学習モデルの作成に110時間かかっていたものを1時間半に短縮し、不正出品の検出の精度を向上させた。また、ユーザー生成コンテンツ(UGC)サービスの「ヤフー知恵袋」では、不快な質問を排除するため、6億件の質問全文を機械学習してアルゴリズムを作成するのに従来9か月かかっていたが、1日強に圧縮することができたという。このように、エンドユーザーが安心・快適に使えるようにサービスがさらに改善されている。


関連リンク

  • ブックマーク
  • LINEで送る
  • このエントリーをはてなブックマークに追加

修正履歴

  • 2019/01/26 20:17 数か所、表現を修正しました。

著者プロフィール

  • 斉木 崇(編集部)(サイキ タカシ)

    CodeZine編集部 編集長。1978年生まれ。早稲田大学大学院理工学研究科(建築学専門分野)を卒業後、IT入門書系の出版社を経て、2005年に翔泳社へ入社。2005年6月の正式オープン以来、ソフトウェア開発専門のオンラインメディア『CodeZine(コードジン)』の企画・運営を担当している。20...

バックナンバー

連載:イベントレポート

もっと読む

All contents copyright © 2005-2019 Shoeisha Co., Ltd. All rights reserved. ver.1.5