そして、その結果を測定し、顧客に明確に伝えることができる。例えば、36%のカートの成約を増やしたeコマース戦略や、638%のリードを増やしたヘルスケアマーケティングテストなど、A/Bテストの成功事例は何百とあります。
しかし、そのレベルの成果を達成するのは容易ではありません。A/Bテストを使ってコンバージョンを最適化するために企業と協力する中で、大企業であれ中小企業であれ、B2BであれB2Cであれ、eコマースであれリードジェネレーションであれ、企業が直面する課題にはいくつかの共通点があることがわかりました。
課題1：何をテストすべきかを知る
同じコミュニケーションピースの2つのバージョンを出して、単純にエンゲージメント指標の上昇を期待することはできない。マーケティング担当者は、導入が簡単で魅力的な小さな変更は、変化を促すには十分なインパクトがないことをすぐに知る。また、劇的な変更が損失をもたらすことも知っている。
何をテストすべきかを知るには、まずどこでテストすべきかを知らなければならない。そこで、顧客データが大きな決め手となります。ライフサイクル、セールスファネル、またはあなたが行うコミュニケーションの種類の中で、ある状態から別の状態に移行させるための指標の分析を実行し、彼らがどこでフィルターアウトしているかを特定する。 潜在顧客はどこに該当するのか？
課題2：有効なテストの実施
ここで、コンバージョンを高める公式が発見されたと思い込むという間違いを犯しかねない。もうひとつ考えられる間違いは、コンバージョンの増加を見過ごすことである。
A/Bテストは、その予測力ゆえに成功する戦術である。テスト結果が真に予測的な役割を果たすためには、それが顧客の行動を反映したものであり、新しい結果を引き起こしたのはテストで行われた変更であることを確認しなければならない。
そのためには、実験を科学的な方法で設定し、モニターし、次のような妥当性への脅威を避けなければならない：
- 配信効果： 例：10,000通のメッセージがサーバーの不具合により配信されなかった。
- 歴史の影響： 例えば、テストが実施される時間帯に予期せぬ広告を出す、一時的に需要を一方向に偏らせるマーケティング・キャンペーンを行う、週末のトラフィックが大きく異なる火曜日に20時間だけテストを行う、12月のホリデー・トラフィックのモチベーションが高いeコマース・サイトでテストを行い、1月にも同じ結果が得られると期待する、などである。
- 選択効果： たとえば、あなたがテストを実施するのと同時に、別の部門がキャンペーンのランディングページにトラフィックを誘導するクリック課金型広告を実施したり、顧客がどのトリートメントを見るかを自動的に選択したりする。
- 歪み効果のサンプリング： これは、無作為の可能性を克服するのに十分なサンプル数を集めなかったことである。例えば、100の回答に基づいてテストが有効であると判断すること。
チャレンジ3：検査結果の解釈
仮に、1と2をうまくクリアし、素晴らしい結果を得たとしよう。なぜ顧客はそのような行動をとるのか？ 顧客について何を学び、その知識をどのように活用できるのか？
検査結果の解釈は、検査実施直後に限定されるべきではない。実は、結果を解釈する鍵は、実施直前にある。それは、ファネル内の重要なデリバリー・ポイントにおける顧客の思考プロセスを徹底的に理解し、知覚価値を高め、知覚コストを下げることを目標に、仮説を確立することである。
見込み客が購買プロセスの各段階で何を考えているかを理解することで、見込み客のモチベーションに合わせ、セールスファネルをより早く通過させることができる。
単にKPI（主要業績評価指標）を高めることが目的ではなく、マーケティング・メッセージ、販売プロセス、さらには商品において、どのようにすれば顧客により良いサービスを提供できるかを理解することが目的であるべきだ。そして、その理解を通じて、成果を向上させるのだ。
そのため、仮にテストによるコンバージョンの数が減ったとしても、顧客インサイトを得たのだから、損失とは言えない。データがインターネット時代の通貨であるならば、顧客インサイトはゴールドスタンダードであり、すべてのマーケティングが直接リンクされなければならない中心的なデータである。
そして最終的には、これがA/Bテストで長期的な利益を得る方法である。
