증분성 테스트가 영향력을 입증하고 성장을 가속화하는 방법
.png)
작년에 전 세계적으로 CPI가 약 30% 상승했습니다..
그래서 성장 팀은 합리적인 선택을 하고 있습니다. 이미 확보한 사용자들을 재활성화하는 데 더 많은 예산을 투입하고 있습니다..
그 논리는 타당합니다. 이탈한 사용자는 이미 당신의 앱을 알고 있고, 설치 장벽을 이미 넘었으며, 애초에 다운로드할 만큼의 의도를 이미 보였기 때문입니다.
하지만 리타겟팅 지출이 증가하면서 회의적인 시각도 함께 커졌습니다. 이 사용자들은 어차피 돌아왔을까요?
합리적인 질문입니다. 일반적인 기여 분석은 광고가 실행된 후 무엇이 전환되었는지 알려줄 수 있지만, 광고 없이 무엇이 전환되었을지는 알려줄 수 없습니다. 광고를 본 다음 날 재설치하는 리타겟팅 사용자는 광고가 그 이유였는지, 아니면 이미 돌아오고 있던 중이었는지와 상관없이 캠페인의 성과로 기록됩니다.
이것이 바로 증분 테스트가 메워주는 간극입니다.
리타겟팅에 투자하는 것은 성장 예산을 극대화하는 가장 효율적인 방법입니다. 하지만 당신이 효과를 리타겟팅 노력의 효과를 증명하고 싶다면, 증분 테스트가 그 방법입니다. 또한 어떤 인벤토리, 세그먼트, 구매 행동이 증분 리프트(incremental lift)를 유도하는지 이해하는 데 가장 강력한 도구이므로, 효과적인 전략에 집중할 수 있습니다.
증분 테스트는 핵심 메커니즘을 임상 연구에서 차용했지만, 그 적용은 광고를 위해 만들어졌습니다.
동일한 기준을 충족하는 사용자 그룹을 선택합니다. 지난 30일간 이탈한 유료 사용자, 60일 이상 앱을 열지 않은 휴면 사용자 등 면밀히 분석하고 싶은 어떤 세그먼트든 좋습니다. 그 사용자 그룹을 무작위로 두 그룹으로 나눕니다.
제외된/대조군이 존재하는 이유는 단 한 가지입니다. 바로 아무것도 하지 않았다면 어떤 일이 일어났을지 보여주기 위함입니다. 동일한 사용자, 동일한 시간 범위, 동일한 행동 패턴, 모든 것이 동일합니다. 두 그룹 간에 달라지는 유일한 변수는 광고가 노출되었는지 여부입니다.
테스트가 끝나면 두 그룹을 동일한 결과 지표로 측정합니다. 재참여율, 사용자당 수익 등 캠페인이 유도하고자 했던 모든 지표를 말합니다.
테스트 그룹이 대조군보다 우수하다면, 그 차이가 바로 귀하의 증분 효과입니다. 그것이 바로 영향 귀하의 광고가 발생시킨 것입니다.
이것은 표준 기여 분석으로는 알 수 없는 부분입니다. 왜냐하면 표준 기여 분석은 반사실적 상황, 즉 광고가 실행되지 않았을 때의 현실을 구성할 방법이 없기 때문입니다. 대조군은 의도적으로 구축되어 캠페인과 분리된 반사실적 상황이며, 이를 통해 비교가 명확하게 유지됩니다.
신뢰할 수 있는 증분 테스트는 그 뒤에 따르는 원칙만큼만 유효합니다. 다음 세 가지 원칙이 실제 리프트 연구와 그저 듣고 싶은 말을 해주는 테스트를 구분합니다.
이 세 가지 조건이 모두 충족되면 결과 수치는 인과 관계를 나타냅니다. 이것이 바로 광고가 유도한 성과 상승입니다.
RZR의 증분 프레임워크는 모든 고객에게 동일하게 적용되며, 당사의 최적화, 보고 및 보고서 실행 방식에 통합된 표준화된 홀드아웃 기반 방법론입니다. 네 가지 원칙이 이를 뒷받침합니다.
잠재 고객 풀의 모든 기기는 IDFV(Apple의 공급업체 식별자)에 대한 결정론적 MD5 해시 비닝을 사용하여 테스트 그룹 또는 대조군 그룹 중 하나에 할당됩니다.
작동 방식은 다음과 같습니다.
입찰 시 무작위성이 없습니다. 사용자가 그룹 간에 이동할 가능성도, 단일 기기가 연구의 두 그룹 모두에 나타날 가능성도 없습니다. 할당은 테스트 시작 전에 고정되며, RZR은 버킷 할당이 포함된 전체 IDFV 목록을 공유하여 고객이 모든 기기를 독립적으로 감사할 수 있도록 합니다.
이는 가장 흔한 형태의 테스트 오염을 제거합니다. 즉, 할당 로직이 결정론적이지 않고 확률론적이었기 때문에 대조군에 속했어야 할 사용자가 우연히 노출을 받게 되는 경우를 방지합니다.
어떤 무작위 분할에서도 한 그룹이 순전히 우연히 파워 유저가 약간 더 많을 수 있습니다. 단일 단계를 실행하면 그 불균형이 결과에 반영됩니다.
RZR의 테스트는 두 단계로 진행됩니다.
1단계에서 발생한 무작위 불균형은 2단계에서 평균화됩니다. 이는 증분성 결과 오염의 가장 흔한 형태에 대한 가장 깔끔한 방어책이며, 31일간의 RZR 테스트가 동일 기간의 단일 패스 홀드아웃보다 더 신뢰할 수 있는 수치를 제공하는 이유입니다.
증분성 결과는 기본 노출이 실제일 때만 신뢰할 수 있습니다. 재판매된 인벤토리, 중복 노출, 불투명한 공급 경로는 진정한 참여를 유도하지 않으면서 기준 도달 범위를 부풀려, 양방향으로 비교를 왜곡합니다.
테스트의 정확성을 유지하는 요소:
RZR의 매치율은 업계 최고 수준입니다. 그 이유는 구조적입니다: 저희는 인프라를 소유하고 있습니다. 4개의 데이터 센터, 자체 NVIDIA GPU 클러스터, 초당 6백만 건의 쿼리, 하루 2,200억 건의 경매. 저희는 거의 모든 다른 곳보다 더 많은 오픈 인터넷을 볼 수 있으며, 이는 테스트 기간 동안 귀사의 테스트 그룹이 실제로 광고에 더 많이 노출된다는 것을 의미합니다. 더 큰 테스트 풀, 더 선명한 리프트 신호, 최종적으로 더 깔끔한 수치.
테스트 종료 후 5영업일 이내에 RZR은 독립적인 검증을 위한 전체 결과 패키지를 제공합니다.
아래는 RZR의 증분 프레임워크가 실제로 적용된 두 가지 사례와, 그 결과가 두 모바일 게임 퍼블리셔에게 리타겟팅 지출에 대해 무엇을 알려주었는지 보여줍니다.
IAA와 IAP 수익화 모델을 혼합하여 사용하는 캐주얼 게임 스튜디오인 Paxie Games는 미국 안드로이드 리타겟팅 지출이 진정한 리프트를 유도하는지에 대한 통계적 증거를 원했습니다. RZR은 수익화 행동(IAA 시청자 대 IAP 구매자)별로 맞춤 잠재고객을 분할하고, 각 코호트를 자체 최적화 모델을 통해 실행했으며, Agresti-Coull 신뢰 구간을 사용하여 20% 대조군과 비교하여 결과를 측정했습니다.
리프트는 상당했습니다.
미국에서의 결과는 벤치마크가 되었습니다. Paxie는 이를 활용하여 영국, 프랑스, 독일, 캐나다, 호주, 일본, 오스트리아로 리타겟팅을 확장하고, 리타겟팅 지출을 50% 늘렸으며, RZR을 독점 리타겟팅 파트너로 지정했습니다.
FOMO Games는 Traffic Escape를 통해 강력한 DAU와 대규모 이탈 사용자 기반을 확보하며 규모를 키웠습니다. 성장 팀은 리타겟팅이 이탈한 사용자를 다시 데려올 수 있는지, 그리고 그 수익이 증분적인 것인지 아니면 단순히 재귀속(re-attribution)인지 알고 싶었습니다. RZR은 3주 동안 80/20의 테스트/대조군 분할로 유료 사용자 및 비유료 사용자 코호트별로 iOS와 안드로이드에서 테스트를 실행했습니다.
결과:
이 테스트는 IAA 중심의 타이틀이 이탈 사용자로부터 의미 있는 가치를 창출할 수 있음을 확인시켜 주었으며, FOMO에게 리타겟팅을 전술적 실험이 아닌 장기적인 성장 동력으로 확장할 수 있다는 확신을 주었습니다.
RZR의 증분성 프레임워크를 특정 세그먼트 또는 캠페인에 적용하여 31일 이내에 신뢰할 수 있는 리프트 수치를 확보하고 효과적인 것을 확장하세요.
Get cutting-edge insights on retention-led growth straight to your inbox.
