A/B 테스트
AB Testing
A/B 테스트는 적격 실험 단위를 대조군과 하나 이상의 변형에 무작위 배정해 결과 차이를 비교하는 통제 실험입니다. 단순한 변경 전후 비교와 구분됩니다.
AI 보조 조사·작성 후 원문과 대조한 설명입니다. 사례·계산은 별도 출처 표기가 없는 한 이해를 위한 가상 예시이며 실제 고객 성과가 아닙니다.
대조군과 무작위 배정이 왜 필요한가요?
대조군은 기존 경험을 유지하고 처리군은 변경된 경험을 받으며 무작위 배정은 알려진 요인과 알지 못한 요인이 집단에 비슷하게 섞이도록 해 결과 차이를 변경 효과로 해석할 근거를 만듭니다. Optimizely의 A/B 테스트 설명도 원본과 변형에 트래픽을 무작위로 나누고 통계 분석으로 성과를 비교하는 방법으로 정의합니다.
배정 단위와 분석 단위는 무엇인가요?
사용자, 계정, 기기, 세션 중 무엇을 배정하는지 정합니다. 같은 사용자가 두 변형을 오가면 오염이 생길 수 있어 로그인 서비스는 사용자나 계정 단위가 적합할 수 있습니다. 지표도 배정 단위와 일관되게 집계합니다. 온라인 무작위 실험 개요는 대규모 온라인 실험이 무작위 통제 실험의 원리를 적용한다고 설명합니다.
표본수와 기간은 어떻게 정하나요?
기준 전환율, 최소 감지 효과, 유의수준, 검정력, 양측·단측 검정, 배정비가 필요한 조건입니다. 기간은 계산된 표본을 실제 적격 유입으로 채우는 시간과 사업 주기를 고려합니다. 2주나 1만 명 같은 숫자를 관행으로 고정하지 않습니다. 중간 결과를 반복 확인해 임의로 멈추려면 순차 검정처럼 그 행동을 반영한 방법이 필요한 조건입니다.
가상 표본수 예시는 어떤 조건인가요?
가상 예시로 기준 전환율 10%, 처리군 11%, 절대 차이 1%포인트, 양측 유의수준 5%, 검정력 80%, 1:1 배정을 가정합니다. 독립 두 비율의 정규근사식과 연속성 보정 없음 조건에서는 군당 약 14,751명이 필요한 조건입니다. 이는 교육용 근사치이며 베이스라인·MDE·검정법이 바뀌면 다시 계산합니다.
결과는 어떻게 판단하나요?
전환율 차이, 신뢰구간, p값, 가드레일을 함께 봅니다. 통계적으로 유의해도 절대 효과가 비용을 회수하지 못하면 출시 가치가 낮을 수 있습니다. 유의하지 않은 결과도 효과가 0이라는 증명은 아닙니다. 신뢰구간이 유용한 개선과 유해한 변화 양쪽을 포함하면 더 많은 정보나 다른 설계가 필요한 조건입니다. 실험 시작 뒤 지표 정의나 제외 조건을 바꾸면 결과에 맞춘 분석이 될 수 있으므로 변경은 별도 탐색 분석으로 표시합니다.
자주 묻는 질문
- A/B 테스트와 전후 비교의 차이는 무엇인가요?
- A/B 테스트는 같은 기간에 대조군과 처리군을 무작위 배정합니다. 전후 비교는 계절성과 유입 변화가 섞일 수 있습니다.
- 유의한 결과가 나오면 바로 중단해도 되나요?
- 고정 표본 검정을 반복 확인하며 임의로 멈추면 오류율이 바뀝니다. 순차 검정이나 사전 중단 규칙을 사용해야 합니다.
출처와 확인 범위
- Online randomized controlled experiments at scale · PMC · 확인 2026-10-25
온라인 무작위 통제 실험은 대조군과 처리군을 무작위 배정해 제품 변경의 영향을 추정합니다.
확인 범위: 온라인 무작위 실험의 일반 원리이며 개별 플랫폼 규칙은 아닙니다.
- A/B Testing · Optimizely · 확인 2026-10-25
A/B 테스트는 원본과 변형에 사용자를 무작위로 나누고 결과를 통계적으로 비교합니다.
확인 범위: Optimizely의 일반 설명이며 개별 검정과 중단 규칙은 별도 설계해야 합니다.