홀드아웃 테스트
Holdout Test
홀드아웃 테스트는 적격 대상 일부를 처리나 광고 노출에서 무작위로 제외해, 노출된 집단과 결과를 비교하는 통제 실험입니다. 과거 기간과의 단순 비교와 다릅니다.
AI 보조 조사·작성 후 원문과 대조한 설명입니다. 사례·계산은 별도 출처 표기가 없는 한 이해를 위한 가상 예시이며 실제 고객 성과가 아닙니다.
홀드아웃 집단은 무엇인가요?
처리 기회가 있는 모집단에서 일부를 무작위로 대조군에 남겨 광고·기능·정책을 받지 않게 하며 Meta 전환 성과 증대 안내는 광고를 볼 기회가 있는 실험군과 광고를 보지 않는 대조군의 전환 차이로 증분 효과를 측정한다고 설명합니다. 실제 노출 여부와 노출 기회를 구분해야 합니다.
A/B 테스트와 어떤 관계인가요?
둘 다 무작위 대조 실험이 될 수 있습니다. 일반 A/B는 두 경험을 비교하고 홀드아웃은 처리 제외 상태를 명확한 기준선으로 둡니다. 광고에서는 처리군도 입찰·도달 조건 때문에 모두 광고를 보지 않을 수 있습니다. 분석 대상과 추정하려는 효과가 배정 의도 기준인지 실제 노출 기준인지 정합니다.
플랫폼 결과는 어떻게 읽나요?
Google Ads Conversion Lift 안내는 광고를 본 처리군과 보지 않은 대조군의 전환 차이를 리프트로 설명하고 사용자 기반·지역 기반 연구를 구분합니다. 플랫폼이 만든 집단, 식별 가능 범위, 전환 창, 모델링 조건을 확인합니다. 다른 채널의 동시 캠페인이 두 집단에 균형 있게 분포했는지도 봅니다.
가상 증분 계산은 어떤 조건인가요?
가상 예시로 각 군 50,000명에서 처리군 전환 2,600건, 홀드아웃 2,500건이면 절대 증분률은 0.2%포인트입니다. 단순 증분 전환은 동일 규모에서 100건이고 상대 리프트는 (5.2%-5.0%)÷5.0%=4%입니다. 이는 1:1 무작위 배정, 집단 오염 없음, 같은 관측 창이라는 조건의 설명입니다.
설계에서 무엇을 관리하나요?
홀드아웃 비율은 필요한 검정력과 기회비용을 함께 고려합니다. 모든 캠페인에 고정 비율을 적용하지 않습니다. 교차 기기 노출, 공유 계정, 지역 이동, 다른 광고 경로가 대조군을 오염시킬 수 있습니다. 실험 전에 표본수·기간·주요 전환·유의수준·중단 규칙을 정하고 장기 홀드아웃은 사용자 피해와 정책 문제를 검토합니다. 대조군에게 광고가 노출되지 않았는지, 처리군이 실제로 노출 기회를 받았는지 배정·노출 로그를 분리해 점검합니다.
자주 묻는 질문
- 홀드아웃은 과거 기간을 대조군으로 쓰는 것인가요?
- 일반적인 홀드아웃 실험은 같은 기간의 적격 대상 일부를 무작위로 처리에서 제외합니다.
- 처리군은 모두 광고를 실제로 보나요?
- 광고 실험에서는 처리군이 노출 기회를 받아도 입찰·도달 조건 때문에 모두 광고를 보지는 않을 수 있습니다.
출처와 확인 범위
- Conversion Lift Testing for Incrementality Measurement · Meta for Business · 확인 2026-10-25
Meta Conversion Lift는 광고 실험군과 비노출 대조군의 전환 차이로 증분 성과를 측정합니다.
확인 범위: Meta 광고 제품 설명이며 계정 자격·식별 범위·플랫폼 조건이 적용됩니다.
- About Conversion Lift · Google Ads Help · 확인 2026-10-25
Google Ads Conversion Lift는 처리군과 대조군의 전환 차이로 광고의 증분 전환을 추정합니다.
확인 범위: Google Ads 제품 정의이며 모든 광고 플랫폼의 실험 조건을 대신하지 않습니다.