검정력
Statistical Power
검정력은 특정 크기의 효과가 실제로 존재할 때 검정이 영가설을 기각해 그 효과를 탐지할 확률입니다. 1-β로 표현하며 유의수준과 다른 오류를 다룹니다.
AI 보조 조사·작성 후 원문과 대조한 설명입니다. 사례·계산은 별도 출처 표기가 없는 한 이해를 위한 가상 예시이며 실제 고객 성과가 아닙니다.
검정력은 어떤 오류와 관련되나요?
제2종 오류 β는 효과가 있는데도 영가설을 기각하지 못하는 경우이고 검정력은 1-β이며 J-PAL 검정력 자료는 표본수, MDE, 결과 분산, 배정비, 유의수준이 검정력 계산의 구성요소라고 설명합니다. 검정력을 높이려면 다른 조건이 같을 때 표본을 늘리거나 더 큰 효과를 대상으로 설계해야 합니다.
유의수준과 어떻게 다른가요?
유의수준 α는 효과가 없는데 있다고 판단하는 제1종 오류를 통제합니다. 검정력은 지정한 실제 효과를 놓치지 않을 확률입니다. α를 더 엄격하게 낮추면 같은 표본에서 검정력이 감소할 수 있습니다. 두 값을 하나의 정확도 점수처럼 합치지 않습니다. 단측 검정은 방향 가설이 사전에 정당화됐을 때만 씁니다.
표본수는 어떻게 정하나요?
표본수 계획 논문은 효과 크기 선택과 표본 기준에 논쟁이 있으며 적용할 가치가 있는 효과와 정밀도를 고려해야 한다고 설명합니다. 기존 실험의 과장된 효과를 그대로 입력하면 표본이 부족해질 수 있습니다. 기준율은 같은 정의와 최근 조건의 데이터에서 추정하고 불확실성에 대한 민감도 분석을 합니다.
사후 검정력을 계산하면 되나요?
관측 효과를 그대로 넣은 사후 검정력은 p값과 거의 같은 정보를 반복하며 결과를 더 잘 설명하지 못할 수 있습니다. 결과 뒤에는 효과 추정치와 신뢰구간을 제시합니다. 설계 단계의 사전 검정력과, 고정된 표본에서 탐지 가능한 효과를 계산하는 민감도 분석을 구분합니다.
가상 설계 예시는 무엇인가요?
가상 예시로 10%에서 11%의 차이를 양측 α=0.05, 검정력 80%, 1:1 독립 배정으로 탐지하려면 정규근사에서 군당 약 14,751명이 필요합니다. 검정력을 90%로 올리면 필요한 표본은 증가합니다. 정확한 값은 선택한 검정, 순차 분석, 군집 구조, 결측 예상치를 반영한 계산기로 다시 산정합니다. 여러 주요 지표를 검정하거나 변형 수를 늘리면 각 판단의 검정력도 달라지므로 처음 계산한 단일 지표 표본수를 그대로 쓰지 않습니다. 유의하지 않은 결과를 검정력 부족이라고 자동 결론 내리지 않고 구간이 어떤 효과 범위를 배제하거나 남기는지 확인합니다.
자주 묻는 질문
- 검정력 80%는 결과가 맞을 확률 80%인가요?
- 아닙니다. 지정한 크기의 효과가 실제로 있을 때 영가설을 기각할 확률입니다.
- 실험이 유의하지 않으면 사후 검정력을 보면 되나요?
- 관측 효과를 넣은 사후 검정력보다 효과 추정치와 신뢰구간으로 어떤 범위가 남는지 보는 편이 유용합니다.
출처와 확인 범위
- Power calculations · J-PAL · 확인 2026-10-25
검정력·MDE·표본수는 효과 크기, 유의수준, 결과 변동성, 배정 구조와 다중검정 조정에 좌우됩니다.
확인 범위: 무작위 평가의 검정력 설계 자료이며 웹 실험의 고정 표본 기준을 주지 않습니다.
- Power to Detect What? Considerations for Planning and Evaluating Sample Size · PMC · 확인 2026-10-25
표본수 계획은 적용할 가치가 있는 효과와 정밀도 등 목적에 맞는 효과 크기를 검토해야 합니다.
확인 범위: 표본수 계획의 학술 논의이며 특정 사업의 MDE를 정해 주지 않습니다.