なぜサービス改善にA/Bテストが必要なのか？──初学者のためのA/Bテスト

初学者のためのA/Bテスト入門 第1回

　Webサービスの改善のためにA/Bテストしよう、といった言葉を耳にはしてもそもそもA/Bテストが何なのかがよくわからない、なぜ改善にA/Bテストが必要かわからない、と思う方も多いでしょう。A/Bテストについて調べても、普段聞かないような統計学の用語が多く、脱落してしまいがちです。本連載では、統計学の用語の解説のさらに手前の、なぜA/Bテストをするのかを解説します。第1回は、A/Bテストがなぜ求められているのか、どのようにすれば実現できるかについて説明します。

対象読者

• サービスの改善に関わる人
• 統計学についてあまり詳しく無い人

A/Bテストとは

　簡単に言えば、AパターンとBパターンの2つを用意し、実際にユーザーに使ってもらって、どちらのほうが優れているのかを調べる方法です。ここで言うAパターン、Bパターンとは、実際のWebサービスなどで変更を加えるものと、加える前のものを指します。

　例えば、自分で運営しているWebサービスの申し込みボタンの色を、青字から青背景の白字に変えたほうが目立ってクリックされやすくなるんじゃないか？ とアイデアを思いついたとします。

　このアイデアを早速サービスに適用したいと思う一方、いままであるボタンでもちゃんとクリックされていたため、変更を加えたことで自社のブランドイメージやWebアクセシビリティを悪化させたくないという思いもあります。さて、皆さんに質問です。思いついたアイデアを実際のサービスに適用すべきかどうかが悩ましい場合、以下の方法のうち、どれを用いて決定するとよいでしょうか？

1. 上司に決めてもらう
2. 占う
3. 聖書などに答えがないか探す
4. 実際のユーザーに使ってもらってクリックされやすさが変化するかを観察する

　このとき、4つの立場をとるのが良いとされています。実証的とか、仮説検証型とか、科学的とか、エビデンスベースとかいろいろな言われ方をされますが、「実際はこうである」というのをちゃんと自分で確かめたほうがいいと思います。実は、4つの中でもいろんな方法がありますが、A/Bテストはデファクトスタンダードと呼ばれるほどに王道です。