1. ホーム
  2. コラム
  3. 【第一回】統計・サイト解析コラム「デジタル・マーケターが陥るA/Bテストの罠」(1)

【第一回】統計・サイト解析コラム「デジタル・マーケターが陥るA/Bテストの罠」(1)

ウェブサイトのパフォーマンスを上げる責務を担っているデジタル・マーケターにとって、A/Bテストは欠かすことのできないコンバージョン改善手法の1つと言えます。しかし、「A/Bテストを行ってランディング・ページを改善しても、期待した効果がなかなか得られない。そもそも適正なテストだったのだろうか、あるいはテスト結果からの展開施策が不適切だったのか」、などと悩まれた経験をお持ちではないでしょうか。例えば、以下のようなケースを想定してみて下さい。

あるオンライン学習サービスのウェブサイト(仮)で、トライアル体験フォームのメールアドレス登録率が現状5%であったとします。この会社はトライアル・プログラム利用者が登録するメールアドレスを自社見込客データベースに蓄積し、毎月の新規ユーザー獲得のメール・プロモーションを行っています。自社見込ユーザーリスト拡大のため、登録フォームページの改修を行うことになりました。そこで新登録フォーム・デザイン案のA/Bテストを行いました。Aページはサービス利用Home画面を掲載した登録フォームを、Bページは製品ベネフィットをテキストで解説した登録フォームとし、A/Bページ間のメールアドレス登録率を比較しました。結果、Aのプログラム画面訴求ページが5.5%、Bのテキスト解説ページが6.0%となり、0.5ポイントほど登録率が高かったB案を今後デモ・プログラムの登録訴求フォームとして正式採用することになりました。この担当者のA/Bテスト結果を受けた意思決定は果たして正しいと言えるでしょうか。

img01

デジタル・マーケターがA/Bテストを行う最大の動機は、購入フォーム改修のように業績に重大な影響があるプロジェクトや、ウェブサイトの大規模リニューアルのように費用のかかるプロジェクトを開始する前に、どのような方向性のページがより好ましい効果をもたらしそうか小規模なテストを行い、本投資での失敗リスクをできる限り回避することです。この考え方の背景には、重要な仮定が暗黙のうちに織り込まれています。すなわち、事前小テストの結果が、本投資後の新ウェブサイトでも再現されるであろうという期待、あるいは推定です。本当に事前テストの結果はサイト改修後も継続的に再現され、改修前と比べてウェブ事業のパフォーマンス向上に貢献するのでしょうか。あなたはデジタル・マーケターとして自信を持って、この判断を社内で進言できるでしょうか。

最近はA/Bテストも自動化され、より好結果のバナーやコピー、画像が自動的に組み合わされてゆくなど益々便利になってきています。自動化ツールを導入すると確かにコンバージョンレートは良くなることが多いと思いますが、なぜ一方の案が好結果と判定されたのか、PDCA学習をプログラム任せにしたままでは、デジタル・マーケター自身とマーケティング・チームに知識と経験が蓄積されません。また環境変化により設定されたクリエイティブが通用しなくなってしまった場合に、原因を把握して適切な対策を打つことや、好パフォーマンスを持続してゆくことが困難になってしまします。

img02

無論、デジタル・マーケティングの分野のみならず、この世の中に絶対の将来予測などはありえません。しかし、事前テスト判定の真偽を科学的・論理的に推測し分かりやすく説明することは可能です。また思い通りの結果とならなかった場合に、原因を探求しやすく、PDCA学習を行いやすくするよう事前に備えておくことも大切です。それを支えるのが統計的な仮説検証アプローチです。

この統計的仮説検証の視点を持たないデジタル・マーケターが、ウェブA/Bテストを実施しようとする際、陥り易い罠を7つまとめてみました。

デジタルマーケターが陥るA/Bテスト7つの罠

  1. CTR(クリックスルーレート)やCVR(コンバージョンレート)など比率のみに着目し実数を考慮しない。
  2. 有意差検定を行わず、得られたテスト結果の値の差だけで判断してしまう。
  3. 必要十分なサンプル数やテスト期間を統計的に検討せず、プロモーション・スケジュールと費用の都合だけで決めてしまう。
  4. ターゲット=被験者(ウェブサイトを訪れる見込客)の属性を考慮していない。
  5. テスト対象のバナーや改定対象のウェブページ・デザインのみに囚われてしまい、外部要因を考慮しない。結果、個別最適化、部分最適化に陥り、より大きな因果関係を見落としてしまう。
  6. 個別に異なるA/Bテストで勝った要素を組み合わせてゆけば、ベストになると思い込む。
  7. 実験計画法を適用しない。

1.CTRやCVRの比率のみに着目し、実数を考慮しない。

上記で想定したケースサイトの1日当たりユニークビジターが1,000人であった場合、一週間のテストを行った場合、得られるテストサンプル数は、7,000人です。これをA/Bの2案に均等に割り振るので1案当たりのサンプル数は3,500人。登録率がA=5.5%、B=6.0%であったということは、Aフォームからのデモ体験者は約193人、210人。差分でB案が上回った体験者数は17人。差分0.5%=17人という数は、偶然の結果でしょうか、必然の結果でしょうか。製品画面を見せるよりも、製品のベネフィットをテキストで解説したほうが、今後ずっとより高いパフォーマンスを得続けられると自信を持って判断するに足る人数でしょうか。A/Bテストの比率差が高く見えても実際に、その実人数を見てみると大した差ではないのではないかといった不安が生まれます。このような余計な不安を生みださないためにも統計的手法は必要です。

2項目目から次回に続く

カテゴリ: DMP
2014年04月25日

RSS