まとめ：リクルートジョブズのA/Bテストの実施ルール
最後にまとめとして、僕らがA/Bテストを行う場合のルールをまとめた資料を見ながら、A/Bテストの流れを確認しておきます。
案件選定～テスト開始まで
まずは、どのテストを行うかの案件選定です。ユーザーテストやデータ分析、Google AnalyticsやAdobe SiteCatalystなどから仮説をどんどん集めて、案件を選んでいきます。
そうして選んだテストの案件の中で、実施の優先順位を付けます。同じ画面にたくさんの案件を盛り込んでしまうと、案件と結果の因果が分からなくなってしまうので、ちゃんと優先順位付けします。
そして、関係部署と調整しながら実際にテストを実施します。
テスト実施中
テストはあれこれ考えるより実際にやってみるのが早道ですね。テストを実施してみると、良い悪いが即日出たりします。もちろん、逆にじわっと結果が出るものもあります。この辺りはテストの特性によりますね。
とはいえ、僕たちはビジネスをしているので、テストがビジネスのKPIを毀損すると分かった場合には、すぐそのA/Bテストを止めます。
また、テストの結果に有意差があるかどうかを判断しなければなりません。「0.1ポイント上がりました」といった場合、結果が良かったのか、悪かったのかは有意差判定をしないと分かりません。それをテストツールで判定しながら、僕たちは日々日々、サービスを改善しています。
テスト終了後
テスト終了後には、良い結果が出たパターンをサービスの進化につなげつつ、さらなるA/Bテストを回していきます。
本講義は以上になります。まとめますと、Webサービスの運営はA/Bテストなどを行って、「ユーザーの課題をちゃんと捉えながら、グロースハックしていく」ことをベースに進めていくとより大きな成果が得られます。みなさん、ぜひいろんなユーザーを想定しながらサービスを作ってください。ありがとうございました。
≪次回は講義後に行われた質疑応答をお送りします≫
