良かれと思った改善が裏目に……A/Bテストの「意図せぬ悪影響」を防ぐガードレール指標の考え方

Mixpanel, Incからのプロダクトティップス 第30回

　A/Bテストで主要指標が改善し、施策は成功したかのように見えた。しかしその裏で、ユーザーの満足度や別の重要指標が悪化していた──。そんな「意図せぬ副作用」は、プロダクト成長における大きな落とし穴です。本記事で解説する「ガードレール指標」は、こうしたリスクを防ぎ、プロダクトが"道"を外れないようにするための安全装置の役割を果たします。本稿では、ガードレール指標の基本的な考え方や選び方、ノーススター指標との違い、そしてAirbnbやSpotifyといった先進企業がどのように実践しているのかまでを網羅的に解説しています。（編集部）

編注

　原文：「Guardrail metrics: The complete guide to balanced product growth」。翻訳にあたり若干加筆修正を行っています。

ガードレール指標とは

　ガードレール指標（またはカウンター指標）は、実験やA/Bテストを行う際に、主要指標と並行してモニタリングする副次的な指標です。テストが一見成功しているように見えていても、プロダクトの他の側面やユーザー体験に予期せぬ影響を与えている可能性があります。A/Bテスト中にガードレール指標を使用することで、実験がもたらす広範囲な影響を把握できます。

　高速道路を運転したことはありますか？ 道路の両脇には必ずガードレールが設置されています。

　運転中にハンドル操作を誤ったり、居眠りをしそうになったりしても、ガードレールが車を道路上にとどめてくれます。ガードレールは車が路外に逸脱することを防ぎ、ドライバーが安全に目的地に到達できるよう保護してくれるのです。

　ガードレール指標はそれと同じような役割を果たします。デジタル企業がプロダクトのA/Bテストや実験を行う際に、プロダクトチームが意図せず間違った方向にプロダクトを走らせてしまうことを防ぐための指標です。ガードレール指標が悪化した場合、それは実験がプロダクトの他の部分に意図しない影響を及ぼしている初期兆候となります。本当に期待どおりの効果が出ているかどうかを評価でき、そうでなければ実験を中止する判断も可能となります。

ガードレール指標の使用例

　それでは例を見てみましょう。

　Instagramを担当していて、ユーザーが見てくれるストーリーズの数を増やしたいとします。ストーリーズに小さな変更を加え、A/Bテストによりエンゲージメントの向上を確認します。同時に、ストーリーズのエンゲージメントが向上したことで、メインのフィード投稿などの他の場所でエンゲージメントが低下することのないよう、フィード投稿のエンゲージメントをガードレール指標として選択します。

　ストーリーズのエンゲージメントが向上し、メインフィードでのエンゲージメントも安定している場合は、この実験を成功と見なせます。しかし、ストーリーズのエンゲージメントは向上したものの、フィードのエンゲージメントが低下した場合は、この変更を実際に実施する前にさらなる調査が必要となるでしょう。

　このように、ガードレール指標を設定すれば、時間の経過と共にコストが増大するリスクや、悪影響をもたらす変更を回避できるのです。

ガードレール指標がプロダクトチームにとって不可欠な理由

　ガードレール指標を導入すれば、リスクを恐れずに実験を実施する環境が整います。プロダクトチームは、気づかずに何かを壊してしまうリスクを心配することなく、仮説を検証できるようになります。

　さらには、ガードレール指標は悪影響を早期警告するため、会社全体、またプロダクト全体のリスクを軽減する役割も果たします。実験の影響をより徹底的に測定できるので、プロダクトチームは可視性を高められ、結果に対する自信を持てるのです。

　また、ガードレール指標にはプロダクトチーム間やチームを超えたコラボレーションを改善する効果もあります。例えば、プロダクトへの変更がマーケティング活動に波及効果をもたらす懸念がある場合、その変更を監視するガードレール指標を設定することで、そのチームの成功により生じる他チームのKPIへの悪影響を防ぐことが可能です。