또한 결과를 측정하고 고객에게 명확하게 전달할 수 있습니다. 장바구니 결제를 36% 더 많이 생성한 이커머스 전략이나 638%의 리드를 늘린 헬스케어 마케팅 테스트 등 A/B 테스트의 성공 사례는 수백 가지에 달합니다.
하지만 이러한 수준의 결과를 달성하기는 쉽지 않습니다. A/B 테스트를 사용하여 전환을 최적화하기 위해 기업들과 협력하면서 대기업이든 중소기업이든, B2B든 B2C든, 이커머스든 리드 생성이든, 기업이 직면한 과제에서 몇 가지 공통점을 발견했습니다.
과제 1: 무엇을 테스트해야 하는지 파악하기
동일한 커뮤니케이션을 두 가지 버전으로 제작하여 단순히 참여도 지표의 상승을 기대할 수는 없습니다. 마케터들은 구현하기 쉽기 때문에 매력적인 일부 작은 변화가 변화를 이끌어낼 만큼 영향력이 크지 않다는 것을 금방 알게 됩니다. 또한 급격한 수정은 손실을 초래할 수 있다는 사실도 알고 있습니다.
무엇을 테스트할지 알기 위해서는 먼저 테스트할 위치를 파악해야 합니다. 여기서 고객 데이터가 매우 결정적인 역할을 할 수 있습니다. 라이프사이클, 세일즈 퍼널 또는 커뮤니케이션 유형 내에서 지표를 분석하여 한 상태에서 다른 상태로 이동하고 필터링되는 위치를 파악하세요. 잠재 고객은 어디에 속할까요?
과제 2: 유효한 테스트 실행
여기서 전환을 증가시키는 공식이 발견되었다고 믿는 실수를 범할 수 있는데, 이는 사실이 아닙니다. 또 다른 실수는 전환율 증가를 간과하는 것입니다.
A/B 테스트는 예측력 때문에 성공적인 전략입니다. 테스트 결과가 진정한 예측 역할을 하려면 테스트 결과가 고객의 행동을 반영하고 테스트에서 이루어진 변화가 새로운 결과를 유발했는지 확인해야 합니다.
이를 위해서는 실험을 과학적인 방식으로 설정하고 모니터링해야 하며, 다음과 같은 유효성 위협을 피해야 합니다:
- 전달성 효과: 예: 서버 오작동으로 인해 10,000개의 메시지가 전달되지 않았습니다.
- 역사의 영향: 예를 들어, 테스트가 실행되는 정확한 시간에 제품 관련 예상치 못한 광고, 일시적으로 수요를 한 방향으로 치우치게 하는 마케팅 캠페인, 주말 트래픽이 매우 다르게 행동하는 화요일에 20시간만 테스트를 실행하는 경우, 이커머스 사이트에서 12월 연말 트래픽이 높은 상태에서 테스트를 실행하고 1월에도 동일한 결과가 나올 것으로 기대하는 경우 등이 이에 해당합니다.
- 선택 효과: 예를 들어, 다른 부서에서 테스트를 실행하는 동시에 캠페인의 랜딩 페이지로 트래픽을 유도하는 클릭당 지불 광고를 실행하거나 고객이 자동으로 표시할 처리를 선택할 수 있습니다.
- 왜곡 효과 샘플링: 이는 무작위 가능성을 극복하기에 충분한 표본 크기를 수집하지 못한 경우입니다. 예를 들어 100개의 응답을 기준으로 테스트가 유효하다고 판단하는 경우입니다.
과제 3: 테스트 결과 해석하기
1번과 2번을 성공적으로 수행하여 좋은 결과를 얻었다고 가정해 봅시다. 여전히 답해야 할 근본적인 질문이 있습니다. 고객이 왜 그런 식으로 행동하는가? 고객에 대해 무엇을 알게 되었으며 이 지식을 어떻게 활용할 수 있는가?
시험 결과의 해석은 시험이 시행된 직후의 시간에만 국한되어서는 안 됩니다. 사실 결과 해석의 핵심은 실행 직전에 있습니다. 퍼널의 중요한 전달 지점에서 고객의 사고 과정을 철저히 이해하여 지각된 가치를 높이고 지각된 비용을 낮출 수 있도록 가설을 수립하는 것이 중요합니다.
구매 프로세스의 각 단계에서 잠재 고객이 어떤 생각을 하고 있는지 이해하면 잠재 고객의 동기를 더 잘 파악하고 판매 퍼널을 더 빠르게 진행할 수 있습니다.
목표는 단순히 KPI(핵심 성과 지표)를 높이는 것이 아니라 마케팅 메시지, 영업 프로세스, 심지어 제품을 통해 고객에게 더 나은 서비스를 제공할 수 있는 방법을 이해하는 것이어야 합니다. 그리고 이러한 이해를 통해 결과를 개선할 수 있습니다.
따라서 테스트 처리를 통해 전환이 더 적게 발생하더라도 고객 인사이트를 얻었으므로 실제로는 손해가 아닙니다. 데이터가 인터넷 시대의 화폐라면, 고객 인사이트는 모든 마케팅이 직접적으로 연결되어야 하는 핵심 데이터의 표준입니다.
궁극적으로 A/B 테스트를 통해 장기적인 이득을 얻을 수 있는 방법입니다.
