SHOEISHA iD

※旧SEメンバーシップ会員の方は、同じ登録情報(メールアドレス&パスワード)でログインいただけます

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

イベントレポート

【SIGIR 2019 レポート】情報検索の重要カンファレンスで発表された、ランキング学習や評価手法の研究

  • X ポスト
  • このエントリーをはてなブックマークに追加

 2019年7月21日~25日に開催されたSIGIR 2019に参加してきました。SIGIRは「Special Interest Group on Information Retrieval」の略で、毎年開催されるカンファレンスは情報検索の分野において最も重要なカンファレンスといわれています。今年のカンファレンスでは、LTR(Learning to Rank、ランキング学習)、リコメンデーション、評価、クエリパフォーマンスなど、多様な研究テーマについての発表がありました。

  • X ポスト
  • このエントリーをはてなブックマークに追加

会場の様子

 会場は Cité des Sciences et de l’Industrie(シテ科学産業博物館)という欧州最大級の科学博物館で、チュートリアルを含めたカンファレンスの3日目の食事会は博物館の2階で行われました。

 食事会の他に、初日に La grande galerie de l’Évolutionという別の博物館でウェルカムレセプションもありました。

 今年のSIGIRで初めて、中国からの提出された論文数もアクセプトされた論文数も、アメリカの論文数を超えました。

 SIGIR 2019は大きくチュートリアル、カンファレンス、そしてワークショップに分かれていました。以下、参加してきたセッションの中で関心を持ったものについて書きます。

チュートリアル(1)

 初日はEffective Online Evaluation for Web Searchという一日のチュートリアルに参加しました。登壇者はYandex社より5人、Facebook AI Researchより1人いました。チュートリアルはWebサービスの更新に対する評価についてで、概要や資料などはここで見られます。豊富な内容でしたが、特に下記の項目が面白いと思いました。

参考文献

 Alexey Drutsa, Gleb Gusev, Eugene Kharitonov, Denis Kulemyakin, Pavel Serdyukov, and Igor Yashkov. 2019. Effective Online Evaluation for Web Search. In Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR'19). ACM, New York, NY, USA, 1399-1400. DOI: https://doi.org/10.1145/3331184.3331378

A/B Testing

 A/Bテストとは、サービスの新しい機能や変更を試すときに、サービスの利用者をランダムに2つのグループに分け、その新しい変更が適用されているサービスを片方のグループにだけ提供し、変更内容を評価する手法です。

 検索サービスの場合は、例えば検索UIを変えるといったフロントエンドの変更や、検索結果の表示順を決めるランキングモデルを変えるといったバックエンドの変更などがあります。A/Bテストはユーザエクスペリエンス(UX)に影響を及ぼすため、基本的に事前に検討中の変更に対してオフラインで評価した上で、A/Bテストを行うか否か判断します。

 全ユーザに対しても、ユーザ1人に対しても複数A/Bテストを同時に行うことが可能で、Yandex社ではまさにそうしているそうです。ただし、複数実験を同時に行うと、それぞれの変更が衝突し合い、想定外の結果になる危険性があるため、注意する必要があります。ワークショップ時点でYandex社では、実験を行わないユーザの割合は20%、1つ実験を行うユーザの割合は15%で、残り65%のユーザに対して2つ以上の実験が行われています。 ワークショップ資料のPart 3の13~20ページに実験例、Yandex社のユーザに対する実験数のグラフなどが載っています。

次のページ
チュートリアル(2)

関連リンク

この記事は参考になりましたか?

  • X ポスト
  • このエントリーをはてなブックマークに追加
イベントレポート連載記事一覧

もっと読む

この記事の著者

Kamuela Lau(カムエラ ラウ)

 米国ハワイ州出身。2014年に米国マサチューセッツ州の Williams College を物理学と日本語学の二重専攻で卒業後来日。株式会社ロンウイットでランキング学習など機械学習を中心に、製品開発や顧客コンサルティングの業務に従事。米国の Georgia Institute of Technology ...

※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です

この記事は参考になりましたか?

この記事をシェア

  • X ポスト
  • このエントリーをはてなブックマークに追加
CodeZine(コードジン)
https://codezine.jp/article/detail/11708 2019/09/06 11:00

おすすめ

アクセスランキング

アクセスランキング

イベント

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

新規会員登録無料のご案内

  • ・全ての過去記事が閲覧できます
  • ・会員限定メルマガを受信できます

メールバックナンバー

アクセスランキング

アクセスランキング