この記事を書いた人
- 村上 仁セールス＆マーケティンググループ/マーケティングディレクター（ビジネス・アーキテクツ）
出版業界の編集者からWeb業界のディレイター・マーケターに転身。大手ポータルサイトのコンテンツ制作や海外SaaSツールのプロジェクトマネージャー等を経験。ビジネス成果にこだわったマーケティング戦略の立案およびサイト制作、データ分析が強み。
ABテストにはいくつも手法がありますが、大事なのは得られたデータの読み方です。本記事ではABテストで成果を出したいというマーケターやWeb担当者様向けに、統計学の「t検定」という分析手法を使って根拠のある結論を導く方法を解説します。この手法を使うことで、数字上の差がはたして意味のある差なのかどうか、勘や経験ではなく「統計 学的に有意かどうか」を判断することができるようになります。
アメリカ大統領選挙の勝敗はABテストにあり！？
2009年1月、第44代アメリカ合衆国大統領に就任したバラク・オバマ氏。彼の選挙陣営では当時最先端となるWeb戦略を駆使していたのをご存じでしょうか？実は2007年の選挙戦開始当初からWebやSNS、動画などで数多くのABテストを実施していたのです。大統領選挙にWebマーケティングが用いられた効果的な手法として、現在でもマーケターの間では語り継がれています。そんなオバマ陣営の選挙戦略をひもといてみましょう。
6,000万ドルの寄付金を集めたオバマ大統領のマーケティング戦略
オバマ陣営のマーケティング戦略を振り返る上で、当時バラク・オバマ氏のデータ分析を担っていたダン・シロカー氏が回顧録として語っている記事「Obama's $60 million dollar experiment」を参考にしています。
2007年12月、ダン・シロカー氏は寄付金を募るWebサイトで、キービジュアルとCTAボタンの組み合わせによる多変量テストを開始します。キービジュアルには3つの画像と3つの動画、CTAボタンは4種類。合計24通りの組み合わせの中でどの組み合わせが最もサインアップ（登録）率が高いのかを検証しました。
＜オリジナル＞
引用 : Obama's $60 million dollar experiment. Optimizely. (参照 2025-03-26)
テスト期間中にサイトを訪問した人数は、31万382人でした。各組み合わせは、約1万3,000人に閲覧されました。その中で最も成果が上がった組み合わせが、下記の「家族と写っている画像」のキービジュアルと「LEARN MORE」のCTAだったそうです。
＜勝ちパターン＞
引用 : Obama's $60 million dollar experiment. Optimizely. (参照 2025-03-26)
この勝ちパターンのサインアップ率は、11.6％でした。一方、オリジナルのデザインパターンは8.26％です。ABテストで実に40.6％向上したのです。ダン・シロカー氏は、このABテストの結果を次のように結論づけました。
- 選挙期間中にサイトを通じて登録したのは、1,000万人だった。
- もしABテストを実施していなかったら、登録者は712万人だった。
- ABテストにより登録者は、288万人増加した。
- 登録者は平均21ドル寄付してくれるので、ABテストを実施した結果、約6,000万ドル寄付金が増えた。
そしてこのABテストの教訓として、以下の3つを挙げています。
- すべての訪問者はチャンスである。
- 仮定を疑う。
- 早期に頻繁にテストする。
つまり、チャンスを成果につなげるためには、ABテストを通じてサイトを改善していくことが必要であり、常に良い結果が得られるように何度もテストを繰り返すことが重要なのです。
そして、頭で考えた仮説が正しいかどうかは、数字でしっかりと把握する必要があります。オバマ陣営では、当初「キービジュアルは動画が効果的だ」という意見があったそうですが、ABテストの結果、3種類の動画はすべて画像版と比べて数値が低かったそうです。主観だけだと戦略を見誤るという教えですね。
ABテストという当時最先端のマーケティング戦略を実行したことにより、多額の寄付金を集めることに成功しオバマ大統領が誕生したのだと言っても過言ではないでしょう。
売上につながるABテストの実践方法
今では日本でもABテストは一般的になりましたが、それでもまだまだABテストを実施し、PDCAサイクルを回しているというWebサイトは多いとはいえないのではないでしょうか。
そこで、ここからはABテストを実施する際の注意点や実施手法についてご紹介します。
ABテストが必要な3つの理由と注意点
ABテストを実施する前に押さえておきたい注意点が3つあります。
1：変更点は1箇所に絞る
上記オバマ陣営の戦略や下記で解説する多変量テストは例外ですが、基本的に変更箇所は1テスト1箇所に絞ります。1箇所の変更箇所を複数のパターンで検証するのは問題ありません。ただし、テストの変更箇所が複数あると「何が要因で成果が上がったのか／下がったのか」の検証が難しくなるため、極力「1テスト＝1箇所」で実施しましょう。
2：時間がかかる
ABテストでは、ユーザーをランダムかつできるだけ同数になるようにトラフィックを分ける必要があります。通常のセッション数が月間1,000セッションだったとしたら、ABそれぞれのページには通常の半分しか訪れないことになるため、有効性を判断するサンプル数の確保に時間がかかってしまいます。仮にABCなどの3パターンで検証する場合は、トラフィックは1/3ずつになるので、さらに時間がかかることを事前に把握して計画しましょう。
3：分析と仮説立てが肝
ページの勝ちパターンを見つけるには、問題点を洗い出す分析力と仮説立てが重要です。
問題点の洗い出しには、GA4やGoogle Tag Managerのほかにもヒートマップツールをおすすめします。ページ内のどこで離脱が起こっているのか、どこが読まれているのかなど、ページ内のユーザーの動きが可視化できるため、問題点を見つけやすくなります。
その上で、ユーザーの心理的ハードルを下げる案のテストを実行します。デザイン、色、構成、CTAの位置、テキストの表現など、多角的な視点で仮説を立てましょう。あくまでユーザー行動をベースに、ユーザー視点での仮説立てが大切です。
ABテストはこの4種類を実践すべし
ABテストにはいくつか手法があります。この章ではよく使われる手法とそのメリット、デメリットについて解説します。
- 同一URLテスト
一般的に、ABテストといえばこの「同一URLテスト」のことを指します。元のページとページ内の特定要素を変えた2パターンで比較検証する手法のことです。
例えば「お問い合わせボタン」の色が現在赤色だった場合、緑色のボタンを作ってどちらがクリックされたかを検証するなどの場合に用います。両ページを同時に公開し、トラフィックをランダムに均等割するのが一般的な実施方法です。- メリット：
「少ない工数で実施ができる」という点がメリットです。元のページに対し、変更を加えた方をBページとするので、新たにページを作る必要がなく少ない工数でテストを実施できます。 - デメリット：
細かな改善を少しずつ積み重ねていくため、勝ちパターンを見つけるまでのテスト回数が多くなります。
- メリット：
- 複数ページテスト
複数のページ遷移をともなうユーザー行動を検証するのに用いるテスト手法で、ファネルテストとも呼ばれています。
例えば、お問い合わせをゴールとした場合、トップページからお問い合わせまでのルートを、検証したい導線になるように遷移ボタンのリンクを固定し、ユーザーの遷移を制限します。Aルート・Bルートを設定し、どちらの遷移ルートがよりCVしやすいか、などを検証する場合に用いられます。- メリット：
CVなどをKPIとした場合、最も効果的な導線を見つけることができます。 - デメリット：
テスト期間中の導線が制限されるため、ユーザー体験に影響が出ます。
- メリット：
- リダイレクトテスト
デザインや訴求ポイントを大きく変更したい場合の効果検証に用いられるテスト手法です。元のページにアクセスしてきたユーザーの半数を、ランダムにデザインなどが大きく異なるページBへ遷移させる手法です。- メリット：
デザインや訴求ポイントが大きく異なる場合の検証ができる点にあります。リニューアルなどを実施する前に、より成果に貢献できるデザインやページ構成を見つけることができます。 - デメリット：
デザインや訴求ポイントなどが大きく変わる分、制作時のリソースが必要になります。トラフィックの振り分けなども設定する必要があるため、どうしても工数がかかります。
- メリット：
- 多変量テスト
同一ページ内の複数要素を変更し、3パターン以上で比較するテスト手法です。
例えば、お問い合わせボタンの色を2種類、ラベルのテキストを2種類、ボタンの形を3種類に分けた場合、検証パターンは12種類になります。その中で、最も効果的な組み合わせを1度のテストで見つけることができます。オバマ陣営のテストもこの手法でした。- メリット：
1度に複数要素をテストでき、それぞれの変更要素の影響度も把握できます。 - デメリット：
変更要素が多くなればなるほど検証パターンも増えるため、効果検証が複雑になります。また、トラフィックを検証パターン数に応じて分けるため、有効なサンプル数を確保するまでに時間がかかります。よって、結果が出るまでの間、ページ改善は止める必要があります。
- メリット：
統計学で見つける売上につながるデザイン
ここまでABテストの目的や手法について解説してきました。ここからは、ABテストを実施した結果をどのように判断すればよいのかを統計学の「t検定」を使って説明します。
t検定とは？
まず、「t検定」とは「2群の平均値の差が統計学的に有意な差かどうか」を判断する分析手法です。名前に「検定」と付くので資格のことだと勘違いされる方がいるかもしれませんが、「仮説検定」と呼ばれる分析手法の1つで、仮説が正しいのかどうかを判断する手法のことです。
また、「有意な差かどうか」というのは、統計学的に2つのデータに「差があると言えるのか」もしくは「差があるとは言えないのか」という意味です。
今回は「デザインAとデザインBでは売上に差がない」という仮説に基づいて検定します。仮説検定では、前提を必ず「差がない」とします。これを「帰無仮説」と呼びます。
【事前準備】Excelに「データ分析」を追加する
では、t検定を始める準備をしましょう。
- Excelの「ファイル＞オプション＞アドイン」を選択
- 画面一番下の「管理＞設定＞分析ツール」を選択
- Excelのナビゲーション「データ」の右端に「分析＞データ分析」という項目が表示
ここまでできれば準備完了です。
売上に貢献したのはどっちのデザイン？
では、実際にt検定のフローを解説します。まず前提としてデザインの異なる2つのLPを作り、2週間でどちらのLPが売上に貢献したかを検証したいとします。
その検証結果が、以下の売上データです。
＜売上データ＞
この結果を見ると、売上の合計金額も平均値もデザインBの方が良い結果のように見えますね。だから、ビジネス判断としては「デザインBを採用しよう！」と言いたくなりますが、はたしてこの差は信用できるのでしょうか？
こういうと「何を言っているんだ。少しでも売上が多い方がいいに決まってるじゃないか！」という声が飛んできそうですが、この結果は特定期間に訪問したユーザーが起こした「たまたまの結果」なのかもしれませんよね？そんな「たまたまの結果」をビジネス判断の根拠にするのは危なくないでしょうか？
そこで、統計学の「t検定」を行うことで、起こった事象が「たまたま」なのかそれとも確信が持てるのかを見極めます。
先ほど追加したExcelの「データ分析」をクリックすると、下の方に「t検定」という項目が3つ表示されます。各t検定の説明は省略しますが、基本的には「t検定：分散が等しくないと仮定した2標本による検定」を選択してください。
ダイアログが表示されたら、入力元の「変数1」の入力範囲にデザインAの値を選択し、「変数2」にはデザインBの値を入れます。この時、「デザインA」「デザインB」のラベルも含めると結果が見やすくなるので、ラベルから選択し、設定画面上でも「ラベル」にチェックを入れておきます。「α：0.05」は有意水準を意味しており、今回はデフォルトの値「0.05」を使います。あとは、結果の出力先を任意の場所に設定すれば終わりです。
その結果が以下の図です。
この結果で見る箇所は1つ、赤字の「P(T<=t)両側」の値「0.809524272」です。この値が、有意水準で設定した「0.05」より大きいか小さいかを比べるのですが、今回の結果は「0.05」より大きな値になっています。この場合は「デザインAとデザインBでは差があるとは言えない」となり「帰無仮説」が正しかったという結論です。仮に「0.05」より小さい場合は「デザインAとデザインBで差がある」（対立仮説）という結論になり、売上額の大きいデザインを採用します。まとめると下記になります。
有意水準5％（P値＝0.05）において
- P値 >= 0.05 → AとBで差があるとは言えない（帰無仮説）
- P値 < 0.05 → AとBで差がある（対立仮説）
ちなみに、検出された値に100を掛けるとパーセント表示になりますから、今回の値は「約81％」。つまり、100回中81回は同じような結果が出てしまうという意味ですから「AとBで差がある」とは言えません。
まとめ：統計学を使って根拠あるビジネス判断を！
いかがでしたか？ABテストは、よりビジネス成果に貢献できる気付きが得られる一方、その解釈を誤ると思った成果を得られなくなります。勘や経験に頼らず得られたデータが有意な差かどうかを見極めるようにしましょう。
Business Architectsでは、データ分析や仮説検証に基づくマーケティング戦略の立案や施策実行で企業のデジタルマーケティング活動を支援しています。どのようなご相談でも結構ですので、お気軽にお問い合わせください。お待ちしております。