本記事では、メルマガの制作や配信などを担当しているマーケターやWeb担当者向けに、効果的かつ効率的に成果を出す方法をご紹介します。

メルマガ制作における基礎的なポイントも押さえながら、統計学のカイ二乗検定を使ったA/Bテストのデータの読み方まで具体的に解説していますので、ぜひお手元のデータで実践してみてください。

「出して終わり」にしない！メルマガで着実に成果を上げるコツ

多くの企業が顧客とのコミュニケーションにメルマガを活用していますが、実は思ったように成果が上がらないというご相談を多くいただきます。多くのリソースを割き、魅力ある情報を発信しているにもかかわらず、なぜ成果が上がらないのでしょうか？まずは自社のメルマガ施策を振り返る所から始めてみましょう。

メルマガ施策25のチェックポイント

メルマガを送信する前に必ずチェックしておきたいポイントを表にまとめました。どれも欠かせないポイントですが、とくに注意したい点をいくつかピックアップして解説いたします。

2番：送信先はセグメントごとに適切な内容に変えているか？（同じ内容の一斉メールにしていないか？）
実は、成果に悩んでいる企業の多くで見られるのがこの問題です。一言でリードといっても、あなたのサービスに対する関心度合いはユーザーによってまちまちですから、当然アプローチの仕方は変えなければいけません。自社がもしこのケースに当てはまる場合は、リード区分が適切に分けられていない可能性が高いです。そのため、メルマガを始める前にまずは、顧客理解を深めてセグメントごとの特徴をつかむ必要があります。

11番：HTMLメールのプリヘッダーは設定したか？、18番：冒頭2〜3行で伝えたいことを簡潔に述べているか
この2つは、開封率に大きな影響が出る施策です。
プリヘッダーとは、PCやスマホなどのメールボックスに件名とともに一覧表示されるテキストのことで、HTMLメールで独自に設定することが可能です。未設定の場合は、本文の最初の数行が表示されます。そのため本文の冒頭は、冗長的な話よりもメールの内容が簡潔にわかる文章の方が向いています。

どちらも開封率に大きく影響するので、できるだけ簡潔に件名と合わせてクリックされるようなテキストを追加しましょう。この数行を有効に活用できるかどうかがメルマガで成果を上げる第一歩だと言えます。

15番：件名・タイトルはターゲットに合った魅力的な訴求内容になっているか？
メルマガ施策で最も重要なことは言うまでもありませんが、続く章でより詳しく解説していきます。

勝ち「タイトル」を見つける3つの定石

メルマガはいくら発信しても開封されないと意味はありません。では、開封されるためには何が必要なのでしょうか？それは「ユーザーにとって魅力あるタイトルにすること」。と抽象的なことを言ってもフワッとしていてわかりませんよね。何に魅力を感じるかは人それぞれですから、どんなに優れたライターでも全員の気持ちを理解した文章を書くことは難しいはずです。

ただユーザーの多くは、タイトルを見てメールを読むかどうか判断しているのも事実。Benchmark Japan社の調査（メールマガジン購読状況調査 2023年度版）によると、メルマガを開封するかどうかを「件名・タイトル」で決めている人は51.5％にも上るそうです。実に2人に1人はタイトルで読むかどうかを決めているわけです。

では、読まれるタイトルにするために何が必要なのでしょうか？
いくつかポイントはありますが、その中でも「定石」と言えるのが下記の3点です。

1. 「その人だけ」に宛てたメッセージになっているか？
   • 「●●様」と相手の名前を差し込むことで「自分ゴト」として受け取ってもらえやすくなります
2. 具体的な数字を入れて興味を引く
   • 「先着●名様」や「売上●％UP」などを盛り込むことで読むことのメリットを事前に予測できます
3. キラーワードを入れる
   • 「限定」や「無料」などの特別感がある言葉を入れるのが定石

これらの言葉を盛り込むと「魅力的なタイトル」に近づくわけですが、より成果を上げるなら「タイトルのA/Bテスト」を実施するのがオススメです。頭の中の思い込みではなく、実際にユーザーの反応を見ながら自分たちの勝ちパターンを探るのです。

統計学で押さえるA/Bテストの勘どころ

自社のメルマガ施策を振り返ってみていかがでしたか？できている所、できていない所が明らかになったと思います。
続く本章では、メルマガの成果をより上げるための分析手法として、統計学のカイ二乗検定を使ったタイトルのA/Bテストについて解説していきます。

「カイ二乗検定」で開封率の「有意差」を見極める

上記の3つのポイントを踏まえて魅力的なタイトルを2パターン用意し、A/Bテストを実施したとします。配信先は、A群・B群をランダムかつ均等に分けました。

その結果、下図のようなA群・B群のメルマガ配信数、開封数、開封率を数値化した観測データが得られました。この結果を皆さまはどのように解釈しますか？

例えば、こういう解釈ができますね。

• タイトルAはタイトルBに比べて開封率が1.88％高いので、タイトルAの方が良い結果だったと言える。
  だからタイトルAでさらにメールを展開していくべきだ。

たしかにこの解釈は、数字から得られた事実だと言えます。しかし、この1.88％の差は今回たまたま起こった結果かもしれませんよね。こうした差が本当に「意味のある差＝有意な差」なのかどうかを見極めるには、統計学のカイ二乗検定を用いて分析します。

カイ二乗検定とは、「仮説検定」と呼ばれる手法の1つです。「検定」というと資格試験のようなイメージがあるかもしれませんが、仮説が正しいかどうかを判断する手法のことです。

カイ二乗検定を行うために、まずは「未開封数」、「期待度数」を追加したデータを揃えます。上図のクロス集計表に「未開封数」を追加します。「配信数―開封数＝未開封数」ですから、これは簡単ですよね。そうして出来上がったクロス集計表をコピーして同じ枠をもう1つ作り、「期待度数」と呼ばれる数値を入れます。「期待度数」とは、「タイトルAとタイトルBに差がない」と仮説を立てた場合に得られるであろう値のことです。今回は開封率が観測データと同じ「37.04％」としてタイトルAとタイトルBの開封数と未開封数の値を埋めます。

これで材料は揃いましたのでカイ二乗値を計算したいのですが、実際の計算式はやや複雑なので、Excelの関数「=CHISQ.TEST」を使います。

カイ二乗検定=CHISQ.TEST(観測データ範囲,期待度数範囲)

この関数を使って、上記関数の「観測データ範囲」には黄色地の範囲（観測データのA群、B群の開封数、未開封数）を選択し、「期待度数範囲」には青地の範囲（期待度数のA群、B群の開封数、未開封数）を選択します。
すると、「0.051592」という値が算出されました。さて、この値は何を意味しているのでしょうか？次の章で詳しく解説します。

結果は経験や勘に頼らず統計学的根拠で判断しよう！

上記の計算式で算出された値は「P値」と呼ばれる値で、「Probability（確率）のP」を表しています。「タイトルAとタイトルBで差がない」とした仮説において、実際の観測度数と同じような観測結果が得られる確率を意味しています。このP値の値は、一般的に「0.05（有意水準5％）」を用います。

この値が0.05より大きい場合は、「2つの間に差があるとは言えない」ことになります。
タイトルAのメールとタイトルBのメールの開封率の差は、統計学的には有意ではないという結論になります。
逆に0.05より小さい値の場合は、「2つの間に差がある」という結論になります。つまり、タイトルAのメールとタイトルBのメールの開封率の差は有意な差であると結論づけられ、より開封率の高いメールのタイトルを採用すべきという結論になります。この辺りは帰無仮説と対立仮説という統計学の話になりますので、本記事では説明を割愛しますが、結果が「0.05（有意水準5％）」より大きいか小さいかに注目してください。

今回のA/Bテストのケースでは、P値は「0.051592」とわずかながらも有意水準の0.05を上回っていますから、「タイトルAとタイトルBでは結果に差があるとは言えない」という結論になります。つまり、開封率に1.88％の差があったものの、この差は偶然起こったものでタイトルAとタイトルBに差があることを示しているわけではないということです。

しかし、仮にP値が0.05未満であった場合は、2つのタイトルに差があることになります。そのため、より結果の良い方が統計学的に勝ちパターンだと太鼓判を押すことができます。今回のように差があるとは言えない場合には、さらに別のタイトル案でテストしてみて勝ちパターンを見つけいくのが良いでしょう。

では、今回のように差があるとは言えない場合に、有意差のあるタイトルを見つけるにはどのようにすれば良いのでしょうか。例えば、下記のような方法を考慮してみると良いでしょう。

• 1：配信セグメントの見直し
  カイ二乗検定を使って統計的データを検証するには、配信先がランダムに振り分けられている必要があります。しかし、配信先のターゲットに年齢や性別など特定の条件で偏りがある場合には配信先のセグメントを見直して再テストをした方が良いでしょう。メール配信ツールを使っている場合は、ランダムに選んでくれる機能があるので活用をオススメします。しかし、もしツールを導入しておらずランダムな抽出ができないという場合は、名簿に対してExcelのランダム関数（=RAND()）を使って数字を割り当て、数字の大きい順に並べてデータを2分するという方法も有効です。
• 2：比べるタイトルを見直す
  タイトルの文字が少し違うだけの場合、有意差が出にくいことがあります。ABテストは差による有効性を検証する手法なので、変化がわかるタイトルを比べるようにテキストを調整してください。
• 3：P値の見直し
  一般的に有意水準は0.05（5％）で行われますが、決まりがあるわけではありません。100回の内5回起こる確率を希有な事象と捉えるかどうかはビジネスによって変わります。仮に飛行機の墜落率が5％の確率で起こったら大変ですよね？有意水準を厳しくするか緩くするかはビジネス判断によって変えても問題ありません。

その他にも、開封率が特定の曜日で高いというような結果が得られた場合、それが曜日による影響なのか、あるいはタイトルによる影響なのかを判断するのに回帰分析といった別の分析手法を用いることもできます。

このように結果の信頼性を高めるために、データや方法を再評価することも大切です。

まとめ：統計学で客観的な分析を！

統計学を使って分析してみると、一見差があるような結果でも実はそうは言えないということがわかります。もちろんその逆もあり得ます。「なんとなく違う」という感覚は人によって判断がわかれますから、数学的なアプローチを加えた客観的な分析を実施することで信頼のおける結論を導くことができるとおわかりいただけたと思います。

Business Architectsでは、データドリブンなマーケティング戦略の立案からKGIやKPIを達成するためのロジカルで効率的な施策提案など、企業のデジタルマーケティング活動を支援しています。どのようなご相談でも結構ですので、お気軽にお問い合わせください。お待ちしております。