AI 질문 커버리지
AI Question Coverage · 질문 커버리지
AI 질문 커버리지는 전체 추적 질문 가운데 프로젝트가 미리 정한 성공 조건을 한 번 이상 또는 지정한 반복 기준만큼 충족했는지를 모델·지역·기간 조건을 고정하고 고유 질문별로 판정한 비율입니다. 질문이 분모이며 생성된 답변 수나 내부 쿼리 팬아웃 수와 구분합니다.
AI 보조 조사·작성 후 원문과 대조한 설명입니다. 사례·계산은 별도 출처 표기가 없는 한 이해를 위한 가상 예시이며 실제 고객 성과가 아닙니다.
질문 단위 성공 조건을 어떻게 정하나요?
산식은 성공 조건을 충족한 고유 추적 질문 수 ÷ 전체 추적 질문 수 × 100입니다. 성공은 유효 답변 생성, 대상 언급, 공식 출처 인용 또는 둘의 결합처럼 프로젝트 목적에 맞게 먼저 정합니다. OpenAI 평가 문서처럼 테스트 입력 구조와 판정 기준을 실행 전에 고정해야 결과를 재현할 수 있습니다.
가상 30개 질문은 어떻게 계산하나요?
가상 질문 30개를 같은 모델에서 각 3회 실행하고 "세 번 중 두 번 이상 공식 출처가 인용됨"을 성공으로 정했다고 가정합니다. 이 기준을 충족한 질문이 18개면 질문 커버리지는 18 ÷ 30 × 100 = 60%입니다. 실행은 90건이지만 분모는 질문 30개입니다. 한 질문의 세 답변을 세 질문으로 세거나 내부 검색어를 추가하지 않습니다.
실험 조건
- 질문 ID·의도군·고정 문구
- 모델·기능·버전·프롬프트
- 국가·언어·로그인·기기 조건
- 반복 횟수와 성공 임계값
- 수집 기간과 오류 재시도 규칙
수집 기록과 답변은 어떻게 분리하나요?
OpenAI 웹 검색 문서는 web_search_call과 사용자에게 제시되는 message를 별도 출력 항목으로 설명합니다. 도구 호출만 있고 유효 답변이 없는 실행은 답변 성공으로 바꾸지 않습니다. 질문 커버리지에서 실패로 둘지 측정 불가로 제외할지는 사전 규칙에 따라 처리하며 분모 변경과 제외 사유를 함께 보고합니다.
답변율·언급률·인용률과 무엇이 다른가요?
답변율은 실행 단위, 언급률과 인용률은 유효 답변 단위, 질문 커버리지는 고유 질문 단위입니다. 질문군이나 별칭·공식 도메인·성공 임계값을 바꾸면 새 기준선으로 표시해야 합니다. 커버리지 상승이 시장 전체 수요, 답변 정확성, 추천 강도, 클릭과 매출 상승을 의미한다고 단정하지 않습니다.
자주 묻는 질문
- 질문을 세 번 실행하면 분모도 세 배가 되나요?
- 아닙니다. 질문 커버리지의 분모는 고유 추적 질문 수이며 반복 실행은 성공 기준을 판정하는 표본입니다.
- 오류 실행은 자동으로 실패 질문인가요?
- 사전에 정한 규칙에 따릅니다. 실패 또는 측정 불가를 구분하고 제외로 분모가 바뀌면 그 수와 사유를 공개해야 합니다.
출처와 확인 범위
- Evaluations · OpenAI · 확인 2026-10-27
평가는 수행할 작업을 정의하고 프롬프트·입력 자료로 실행한 뒤 결과를 분석하는 절차이며 테스트 데이터 스키마와 판정 기준을 명시해야 합니다.
확인 범위: 표시한 절의 정의·플랫폼 동작·데이터 구조·평가 조건만 사용했습니다. 시장 전체 효과, 검색 순위, AI 답변 언급·인용·추천·클릭과 처리 기간 보장은 지원하지 않습니다.
- Web search · OpenAI · 확인 2026-10-27
웹 검색 사용 결과는 web_search_call과 답변 message로 나뉘며 답변 텍스트의 URL 인용은 annotations에, 전체 검색 자료는 sources 필드에 따로 제공될 수 있습니다.
확인 범위: 표시한 절의 정의·플랫폼 동작·데이터 구조·평가 조건만 사용했습니다. 시장 전체 효과, 검색 순위, AI 답변 언급·인용·추천·클릭과 처리 기간 보장은 지원하지 않습니다.