표본 크기
Sample Size · 샘플 크기
표본 크기는 조사나 실험에서 분석에 포함할 독립 관측 단위의 수입니다. 방문·세션·사용자 중 무엇을 한 단위로 배정하는지 정한 뒤 기대 효과크기, 변동성, 유의수준과 검정력에 맞춰 계산합니다.
AI 보조 조사·작성 후 원문과 대조한 설명입니다. 사례·계산은 별도 출처 표기가 없는 한 이해를 위한 가상 예시이며 실제 고객 성과가 아닙니다.
표본 크기는 어떤 역할을 하나요?
NIST는 표본 수를 정하려면 분산, 탐지하려는 차이와 오류 확률 같은 추가 가정이 필요하다고 설명합니다. NIST 표본 크기 안내 트래픽이 많다는 이유로 표본이 충분하다고 말할 수 없고 효과가 작을수록 더 많은 관측이 필요합니다. 계산 전에 지표의 기준 전환율과 배정 단위를 고정합니다. 기준 전환율이 짧은 기간의 특이한 프로모션에서 계산됐다면 필요한 표본 수와 실험 기간도 왜곡될 수 있으므로 대표 기간을 고르고 요일·계절·기기 구성이 달라졌는지 확인하고 기준값의 불확실성도 계산 기록에 남겨야 합니다.
무엇과 구분해야 하나요?
| 구분 | 판단 기준 |
|---|---|
| 관측 수 | 수집된 행이나 이벤트 수입니다. |
| 표본 크기 | 분석에 쓰는 독립 배정 단위 수입니다. |
| 검정력 | 실제 효과가 있을 때 이를 탐지할 확률입니다. |
| 효과크기 | 탐지하려는 차이의 절대값 또는 상대값입니다. |
실무에서는 어떻게 계산하거나 확인하나요?
별도 실험 설계에서 변형당 14,000명이 필요하다고 정한 가상 예시를 가정합니다. 10% 이탈을 예상하면 모집 목표는 14,000÷0.9≈15,556명입니다. 여기서 14,000명은 10%에서 11%로 변하는 조건만으로 계산한 결과가 아니라 유의수준·검정력·배정 단위 등 별도 입력 가정으로 정한 값입니다. 세션을 사용자처럼 세면 반복 방문자의 상관을 무시하게 되므로 사용자 ID로 배정했다면 표본도 고유 사용자로 셉니다.
실험 계획과 입력 가정에서는 무엇을 확인하나요?
PMC의 표본 크기 교육 자료는 기대 효과를 탐지할 충분한 참여자와 검정력의 필요성을 설명합니다. PMC 교육 자료 실험 계획에는 기준값의 기간, 최소 탐지 효과, 유의수준, 검정력, 양측·단측 검정, 배정 비율, 예상 이탈, 중단 규칙을 남깁니다. 여러 지표와 세그먼트를 동시에 보면 다중검정 처리도 정합니다.
한계와 검수 기준은 무엇인가요?
표본 계산기는 입력 가정이 맞을 때의 필요량을 제시합니다. 시즌 변화, 봇, 계정 공유, 네트워크 효과가 있으면 독립성 가정이 흔들립니다. 목표 표본에 도달하기 전에 반복 확인해 유리한 순간에 멈추면 오류율이 달라지므로 고정 기간이나 순차 검정 계획을 사전에 선택합니다.
자주 묻는 질문
- 방문 수를 표본 크기로 써도 되나요?
- 실험 배정이 세션 단위이고 관측이 독립적이라는 근거가 있을 때만 가능합니다. 사용자 단위 배정이면 고유 사용자를 세는 편이 맞습니다.
- 효과크기를 작게 잡으면 어떻게 되나요?
- 더 작은 차이를 탐지하려면 대체로 더 큰 표본이 필요합니다. 사업상 의미 있는 최소 차이를 먼저 정합니다.
- 표본에 도달하면 인과효과가 확정되나요?
- 아닙니다. 배정 오류·측정 누락·중간 확인·외부 변화가 없는지도 검수해야 합니다.
출처와 확인 범위
- Sample sizes required · NIST/SEMATECH · 확인 2026-10-27
표본 크기가 효과크기·오차·가정에 따라 달라진다는 근거입니다.
확인 범위: 한 공정 평균 검정 맥락의 설명이며 모든 A/B 테스트 계산식과 동일하지 않습니다.
- Sample Size Calculation Guide · PubMed Central · 확인 2026-10-27
기대 효과와 검정력에 맞춘 표본 설계 필요성을 뒷받침합니다.
확인 범위: 임상 연구 교육 자료이며 디지털 실험의 배정 단위·트래픽 구조는 따로 반영해야 합니다.