통계적 유의성
Statistical Significance
통계적 유의성은 관측 결과가 설정한 영가설과 통계 모형 아래에서 얼마나 양립하기 어려운지 검정 기준으로 판단한 상태입니다. 효과 크기나 사업 가치를 뜻하지 않습니다.
AI 보조 조사·작성 후 원문과 대조한 설명입니다. 사례·계산은 별도 출처 표기가 없는 한 이해를 위한 가상 예시이며 실제 고객 성과가 아닙니다.
p값은 무엇을 말하나요?
p값은 영가설과 분석 모형을 가정했을 때 현재 관측치와 같거나 더 극단적인 결과가 나올 확률이며 영가설이 참일 확률이나 결과가 우연일 확률로 해석하지 않으며 ASA p값 성명은 p값이 가설의 참 확률, 효과 크기, 결과의 중요성을 측정하지 않는다고 명시합니다.
유의수준과 결과는 어떻게 연결되나요?
실험 전에 유의수준 α와 단측·양측 검정을 정합니다. p<α이면 해당 검정 절차에서 영가설을 기각하지만 효과가 크다는 뜻은 아닙니다. 여러 지표와 변형을 반복 검정하면 적어도 하나의 거짓 양성이 나올 가능성이 커집니다. 중간 결과를 보고 유리한 시점에 멈추는 행동도 오류율을 바꿉니다.
사업 중요도는 어떻게 판단하나요?
Nielsen Norman Group의 실무 유의성 설명은 통계적 유의성이 결과의 신뢰성을 다루고 실무 유의성은 실행할 가치가 있는지를 다룬다고 구분합니다. 절대 효과, 매출·이익, 개발비, 운영 위험, 사용자 피해를 봅니다. 큰 표본에서는 작은 차이도 유의할 수 있고 작은 표본에서는 중요한 차이를 놓칠 수 있습니다.
빈도주의와 베이지안 결과는 무엇이 다른가요?
빈도주의 검정은 p값과 신뢰구간처럼 표본을 반복할 때 발생하는 오류율을 다룹니다. 베이지안 분석은 사전분포와 데이터로 사후분포를 만들고 처리군이 대조군보다 나을 확률이나 신용구간을 제시할 수 있습니다. LaunchDarkly의 베이지안 방법론은 사후평균, 신용구간, 대조군을 이길 확률, 기대손실을 계산합니다. 사전분포와 중단 규칙을 포함한 모형 조건을 함께 봐야 합니다.
가상 예시는 어떤 조건인가요?
가상 예시로 각 군 10,000명에서 전환율이 10%와 11%라면 독립 두 비율의 양측 z검정 근사 p값은 약 0.021입니다. 조건은 1:1 무작위 배정, 독립 관측, 유의수준 5%, 고정 표본입니다. 절대 차이는 1%포인트이므로 건당 이익과 구현비를 적용해 사업 가치도 별도로 계산해야 합니다. 선택한 검정의 가정과 결측 처리, 이상치 규칙을 결과와 함께 보고해야 같은 p값이라도 근거의 품질을 평가할 수 있습니다.
자주 묻는 질문
- p값 0.03은 영가설이 참일 확률 3%인가요?
- 아닙니다. 영가설과 모형을 가정했을 때 관측값만큼 극단적인 결과가 나올 확률입니다.
- 통계적으로 유의하면 사업적으로도 중요한가요?
- 효과 크기, 이익, 비용, 위험이 별도 기준을 충족해야 합니다. 큰 표본에서는 매우 작은 차이도 유의할 수 있습니다.
출처와 확인 범위
- ASA Statement on Statistical Significance and P-Values · American Statistical Association · 확인 2026-10-25
p값은 가설의 참 확률이나 효과 크기를 측정하지 않으며 의사결정을 임계값 하나에만 의존해서는 안 됩니다.
확인 범위: p값 해석 원칙이며 개별 실험의 검정법을 지정하지 않습니다.
- Statistical Significance Is Not the Same as Practical Significance · Nielsen Norman Group · 확인 2026-10-25
통계적 유의성은 결과의 통계적 신뢰성을, 실무적 유의성은 행동할 가치가 있는지를 다룹니다.
확인 범위: UX 연구 문맥의 설명이며 개별 사업의 최소 가치 기준은 아닙니다.
- Statistical methodology for Bayesian experiments · LaunchDarkly · 확인 2026-10-25
베이지안 실험 결과는 사후분포에서 평균, 신용구간, 승리 확률, 기대손실 등을 계산할 수 있습니다.
확인 범위: LaunchDarkly의 베이지안 구현이며 모든 베이지안 분석의 동일한 출력 규칙은 아닙니다.