다중 검정

검정 수가 늘면 무엇이 달라지나요?

각 검정을 α=0.05로 독립 수행할 때 하나 이상의 거짓 양성이 날 확률은 1-(1-0.05)^m입니다. 가상 예시로 모두 영가설이고 서로 독립인 검정 20개라면 약 64.2%입니다. 실제 검정이 상관되면 이 단순식과 달라집니다. 결과가 좋은 지표만 선택하거나 세그먼트를 반복 탐색하는 행동도 검정 수를 늘립니다.

어떤 오류율을 통제하나요?

가족별 오류율(FWER)은 한 묶음에서 하나 이상의 거짓 양성이 날 확률을 다룹니다. 거짓 발견률(FDR)은 발견으로 선언한 결과 중 거짓 발견의 기대 비율을 다룹니다. 질문과 위험에 따라 Bonferroni, Holm, Benjamini-Hochberg 같은 방법을 선택합니다. 보정 이름만 쓰지 말고 가설군과 적용 순서를 기록합니다.

검정력과 표본수에는 어떤 영향이 있나요?

J-PAL 검정력 자료는 여러 가설을 조정하면 방법·가설 수·상관에 따라 검정력이 달라지며 표본 설계에도 조정을 반영해야 한다고 설명합니다. 임계값을 엄격하게 만들면 같은 표본에서 작은 효과를 찾기 어려워집니다. 주요 지표 수를 사전에 줄이고 탐색 지표를 구분하는 이유입니다.

실제 설계에서는 무엇을 계산하나요?

미국 IES의 다중검정 검정력 연구는 Bonferroni·Holm·Westfall-Young·Benjamini-Hochberg 조정 아래 표본수, MDE, 검정력을 추정하는 방법을 다룹니다. 필요 표본은 검정 개수만으로 정하지 않고 결과 간 상관, 효과, 분산, 배정 구조를 포함합니다.

베이지안 분석이면 문제가 사라지나요?

사후확률을 쓰더라도 많은 변형과 지표 중 가장 좋아 보이는 결과를 선택하면 선택 편향과 과도한 확신이 생길 수 있습니다. 계층 모형, 사전분포, 의사결정 손실, 실험 단위 전체의 오류 기준을 설계해야 합니다. 가상 실험 보고서에는 사전 등록된 주요 지표, 보정한 결과, 탐색 분석을 분리하고 통계적 유의성과 사업 중요도를 따로 판단합니다. 보고서에는 원래 계획한 가설 수와 실제 실행한 추가 분석 수를 함께 남겨 보정 범위를 독자가 확인할 수 있게 합니다.

자주 묻는 질문

검정을 20번 하면 거짓 양성이 반드시 나오나요?

반드시 나오지는 않습니다. 독립 검정과 모두 참인 영가설을 가정하면 적어도 하나가 나올 확률이 약 64.2%입니다.

베이지안 분석이면 다중 검정을 무시해도 되나요?

아닙니다. 많은 결과 중 최고값을 선택하면 선택 편향이 생길 수 있어 계층 모형, 사전분포와 의사결정 규칙을 설계해야 합니다.

출처와 확인 범위

1. Power calculations · J-PAL · 확인 2026-10-25

   검정력·MDE·표본수는 효과 크기, 유의수준, 결과 변동성, 배정 구조와 다중검정 조정에 좌우됩니다.

   확인 범위: 무작위 평가의 검정력 설계 자료이며 웹 실험의 고정 표본 기준을 주지 않습니다.

2. Statistical Power When Adjusting for Multiple Hypothesis Tests · Institute of Education Sciences · 확인 2026-10-25

   다중검정 조정 아래 검정력, MDE, 표본수를 추정하는 방법은 조정 방식과 설계에 따라 달라집니다.

   확인 범위: 교육 연구 설계의 방법론 요약이며 웹 실험에 동일한 표본수를 제시하지 않습니다.

함께 이해할 용어