최소 감지 효과

MDE는 어떤 질문에 답하나요?

현재 설계가 어느 정도의 실제 차이를 정해진 확률로 통계적으로 감지할 수 있는지 나타내며 J-PAL의 검정력 자료는 MDE를 효과가 실제로 존재할 때 설정한 검정력으로 유의한 추정치를 만들 수 있는 가장 작은 효과로 설명합니다. 0보다 작은 효과를 절대 발견할 수 없다는 경계는 아닙니다.

어떤 입력값이 필요한가요?

기준 전환율 또는 결과 분산, 유의수준 α, 검정력 1-β, 배정비, 단측·양측 여부, 분석 단위가 필요한 조건입니다. 클러스터 배정과 반복 측정은 상관을 반영합니다. MDE를 작게 잡을수록 일반적으로 더 많은 표본이 필요한 조건입니다. 다중 검정을 조정하면 임계값과 검정력이 달라져 표본 설계에도 반영합니다.

사업 최소가치와 어떻게 구분하나요?

사업 최소가치는 효과가 구현비와 위험을 감수할 만큼 큰지에 대한 의사결정 기준입니다. MDE는 통계 설계 값입니다. 표본수 계획 논문은 새로운 연구에서 사람들이 실제로 적용할 가치가 있는 효과를 바탕으로 표본을 계획하는 접근을 논의합니다. 사업 기준을 먼저 정하고 그 효과를 감지할 수 있는 설계가 가능한지 검토합니다.

가상 계산 예시는 어떤 조건인가요?

가상 예시로 기준 전환율 10%, 목표 탐지율 11%를 두면 절대 MDE는 1%포인트이고 상대 MDE는 10%입니다. 양측 α=0.05, 검정력 0.80, 1:1 배정, 독립 관측, 정규근사, 연속성 보정 없음 조건에서 군당 약 14,751명입니다. 기준율을 2%로 바꾸거나 MDE를 0.5%포인트로 줄이면 다시 계산합니다.

운영 기간은 어떻게 연결하나요?

필요 총표본을 일평균 적격 실험 단위로 나누면 단순 예상 일수를 구할 수 있지만 유입 변동과 주간 패턴을 확인합니다. 예를 들어 총표본 29,502명과 하루 적격 사용자 2,000명이라면 단순 계산은 약 14.8일입니다. 이는 가상 조건이며 결측·중복·노출 실패가 없다는 가정입니다. 달력 일수를 먼저 정하고 유의할 때까지 늘리는 방식은 피합니다. MDE와 출시 기준이 다르면 통계적으로 탐지 가능한 변화와 실제로 출시할 변화의 기준을 실험 계획서에 각각 적습니다.

자주 묻는 질문

MDE는 실제로 관측 가능한 가장 작은 효과인가요?

아닙니다. 설정한 검정력과 유의수준 아래 탐지하도록 설계한 효과 크기이며 더 작은 효과가 관측될 수도 있습니다.

MDE와 사업상 최소 개선은 같아야 하나요?

서로 다른 기준입니다. 사업상 가치 있는 효과를 먼저 정하고 그 크기를 탐지할 표본을 설계할 수 있는지 검토합니다.

출처와 확인 범위

1. Power calculations · J-PAL · 확인 2026-10-25

   검정력·MDE·표본수는 효과 크기, 유의수준, 결과 변동성, 배정 구조와 다중검정 조정에 좌우됩니다.

   확인 범위: 무작위 평가의 검정력 설계 자료이며 웹 실험의 고정 표본 기준을 주지 않습니다.

2. Power to Detect What? Considerations for Planning and Evaluating Sample Size · PMC · 확인 2026-10-25

   표본수 계획은 적용할 가치가 있는 효과와 정밀도 등 목적에 맞는 효과 크기를 검토해야 합니다.

   확인 범위: 표본수 계획의 학술 논의이며 특정 사업의 MDE를 정해 주지 않습니다.

함께 이해할 용어