商品レビューによるグロースの実践
仮説検証サイクルの概念や運用手法の解説のあとは、その具体例として、ECサイトにおける商品レビューの改善策についての説明がなされた。プロダクトの特性を理解し、KPIツリーから課題を分析、A/Bテストで価値を計り、予算確保をして展開、データだけでなくユーザーの声も取り入れながら、仮説検証を繰り返していく流れとなる。
ECサイトへは検索や広告経由でアクセスし、サイト内の動線によって商品ページにたどり着く。そこにあるレビューの評価やコメントを見て、購入するか判断する。会員登録していない場合は登録をし、すでに会員の場合は決済へ進む。レビューがあることで購入を判断するということは、会員登録にもつながる。
一方、商品レビューはどのように掲載されるかというと、ユーザーがサイトのレビュー投稿画面にアクセスし、レビューを投稿。サイト運営者の承認作業を経て商品ページに追加される。改善活動には、商品ページやレビュー投稿画面での振る舞いをログ取得する必要があることがわかる。それぞれの計測ポイントを設定し、KPIツリーに展開する。
このような細かい計測によって、レビューは売上にどのような影響を与えているかを測ることができる。A/Bテストで、同じ商品だけれど、レビューがあるものとないパターンを比較すれば、サイトでのレビューの価値がわかる。例えば、4日間実施したA/Bテストの結果、既存の商品レビューが存在するページのコンバージョン率（経由売上）が45％だったもの（Aパターン）が、レビューの件数がゼロ（Bパターン）になったことで20％に減少したとする。1％あたりの売上への影響が10万円だった場合は250万円の差、4日間実施したので1日あたりでは63万円の損失（＝レビューの売上貢献分）になるとする。
この例からさらにレビューの価値を計ってみよう。A/BテストはECサイト全体のトラフィックの20％を対象として実施した。20％の露出で1日あたり63万円の売上貢献があるとわかったことから、これを100％に換算すると、現在ついているレビューは1日あたり315万円（63万円×5）の売上貢献をしていると考えられる。
もし、サイトにある商品ページの2割にだけレビューがついていたとしたら、これを4割にすれば、レビューによる売上貢献がさらに倍の630万円になるという仮説が成り立ち、それを実証するための予算が確保できるようになる。
註：ここでは、全商品の単価や利益率をほぼ一定のものと仮定し、1％あたりの売上への影響も10万円と仮定している。こういった仮説検証の際は、全商品の平均をとり限界利益率をかけて、超概算で計算することが多い。
総商品数が10万点だったとすると、2割増やすには2万点の商品ページに対して商品レビューが必要だ。そこで、レビューがない商品にレビューを投稿したら100ポイントプレゼントといったキャンペーンを展開すると、200万円の予算を確保する必要がある。1日315万円の増加が見込めそうなら十分試してもいい金額だ。そして、仮説を検証するためにKPIがどのように変化すればいいかを当てはめていく。
また、キャンペーンを実施してみたが、仮説通りにいかない場合もあるため、投入した予算に対してどの程度成長できなかったら撤退する、というラインも決めておく。あとはこのような計画と検証を短期間で繰り返していくのだ。なお、石垣氏は、仮説検証にあたっては、アンケートや要望、問い合わせなどで得られるユーザーからの声の分析も有効であると付け加えた。
「サイトのログのようなデータは、ユーザーの行動の結果であり、潜在的なニーズを捉えることは難しい場合があります。ですから、ユーザーの要望やクレームといった定性的な情報にも耳を傾けるようにしています。私は、ユーザーからの『こんな機能があったらいい』という提案を見て、それを実施したらどの程度業績が上がるかといった検討はよく行います」
さまざまなデータに基づいて事業を改善していく活動の第一歩は、事業全体の数値的に理解をすること。そして、計画には時間をかけず、失敗しても影響がないサンプル数を確保しながら、ひたすら改善のサイクルを繰り返していくことによって、不確実性の中の正解を見つけていくのだ。
石垣氏の発表のあと、参加者からの問い合わせに回答するセッションも行われた。
Q．セールスやマーケティングのKPIはありますが、プロダクト開発としての指標作りはどのように設定されていますか？
石垣氏：基本的にはプロダクトも同じで、すべてがツリー状になっています。売上の要素をミクロにとらえて、ユーザーがどのような行動をしているかをトラッキングしていけば指標は作れます。
Q．新規プロダクト開発についてエンジニアからプロダクトの成功確率が低いのではないかと問われあまり賛同を得られません。開発の前にデータを求められているのですが、新規なので仮説の部分が多い場合は、どこまでデータを示せばよいのでしょうか。ベースとなる指標はありますでしょうか？
石垣氏：世の中の事業のビジネスモデルというのは普遍的です。ですから、自分がやってみたい事業を展開している上場企業のIR情報をたくさん見て指標にするといいでしょう。中には事業のKPIを公開している企業もありますので、そのような情報を参考にすればいいです。
Q．1つの検証について、計画を実施して学習するまでの1サイクルはどのくらいの期間をかけていますか？
石垣氏：ユーザーインターフェースの改善の場合は、1、2日もあれば実装はほぼ終わるので、数日の間でリリース計画をしてA/Bテストを実施します。テストの期間はサンプルデータなどをきちんと計算して数日から1週間程度で、ほぼ毎日何らかのテストが展開されるようにしています。グラデーションを見ながら、毎時データを見ながら学習していきます。検索機能の改善など、機能的なところは開発コストによります。
