샘플 비율 불일치

SRM은 무엇을 비교하나요?

50:50으로 배정했다면 관측된 사용자 수가 그 기대 비율과 양립하는지 검사하며 Microsoft Research의 SRM 안내는 표본 크기를 고려한 카이제곱 검정으로 관측 분포와 설정 비율의 차이를 확인한다고 설명합니다. 숫자가 조금 다르다는 시각적 판단만으로 SRM을 확정하지 않습니다.

왜 결과를 보기 전에 확인하나요?

처리군의 로딩 오류로 일부 사용자가 기록되지 않으면 남은 표본은 무작위 배정 집단을 대표하지 않을 수 있습니다. 전환이 높은 사용자만 누락되어 효과 방향이 뒤집힐 수도 있습니다. Microsoft는 SRM 원인을 진단하기 전 실험 효과를 신뢰하지 말라고 안내합니다. SRM 검정은 전환율 차이의 유의성 검정과 별도입니다.

원인은 어디에서 생기나요?

SRM 분류 연구는 배정, 실행, 로그 처리, 분석 단계의 다양한 데이터 품질 문제를 다룹니다. 잘못된 사용자 ID, 리디렉션, 변형별 로깅 차이, 처리 이후 조건으로 필터링, 불균등 램프업을 확인합니다. 전체와 주요 세그먼트의 발생 시점도 봅니다.

가상 계산은 어떻게 하나요?

가상 예시로 50:50 배정에서 총 10,000명이라면 기대값은 군당 5,000명입니다. 관측값 5,150명과 4,850명에 대한 카이제곱 통계량은 (150²/5,000)×2=9입니다. 자유도 1의 p값은 약 0.0027입니다. 이 예시는 독립 단위와 고정 기대비율 조건이며 실제 임계값은 플랫폼의 사전 정책을 따릅니다.

SRM이 없으면 실험은 유효한가요?

SRM 통과는 필수 품질 점검 중 하나입니다. 지표 로깅 오류, 노출 오염, 네트워크 효과, 다중 검정, 낮은 검정력까지 해결됐다는 뜻은 아닙니다. 배정 로그와 노출 로그를 대조하고 A/A 테스트와 가드레일을 함께 운영합니다. 이상 원인을 고친 뒤 재실험할지 사전 규칙으로 정합니다. 기대 배정 비율을 실험 도중 변경했다면 시간 구간별 설정을 반영해야 하며 전체 기간을 하나의 고정 비율로 검사하지 않습니다. SRM p값이 매우 작아도 원인 위치를 알려 주지는 않으므로 세그먼트와 데이터 흐름을 따라 진단해야 합니다.

자주 묻는 질문

두 실험군 인원이 조금 다르면 모두 SRM인가요?

아닙니다. 사전 기대 비율과 표본 크기를 반영한 검정으로 우연한 변동과 불일치를 구분합니다.

SRM이 없으면 실험 결과를 신뢰해도 되나요?

SRM은 한 가지 품질 점검입니다. 노출 오염, 지표 오류, 다중 검정과 검정력도 따로 확인해야 합니다.

출처와 확인 범위

1. Diagnosing Sample Ratio Mismatch in A/B Testing · Microsoft Research · 확인 2026-10-25

   SRM은 관측 배정 수와 기대 배정 비율을 표본 크기를 반영한 검정으로 비교하며 원인 진단 전 결과 해석을 보류해야 합니다.

   확인 범위: Microsoft 온라인 실험 사례이며 SRM 임계값은 사전 정책에 따라야 합니다.

2. Diagnosing Sample Ratio Mismatch: Taxonomy · Microsoft Research · 확인 2026-10-25

   SRM은 배정·실행·로그·분석 단계의 여러 데이터 품질 문제에서 생길 수 있습니다.

   확인 범위: 온라인 실험 SRM 분류이며 개별 오류의 원인을 자동 판정하지 않습니다.

함께 이해할 용어