AI 평가
AI Evaluation
AI 평가는 모델이나 AI 시스템의 출력과 행동이 정해 둔 정확성, 안전성, 형식, 업무 기준을 충족하는지 구조화된 사례로 측정하는 과정입니다. 한두 번의 인상적인 시연이나 공개 벤치마크 점수만으로 실제 업무 성능을 확정하는 것과 다릅니다.
AI 보조 조사·작성 후 원문과 대조한 설명입니다. 사례·계산은 별도 출처 표기가 없는 한 이해를 위한 가상 예시이며 실제 고객 성과가 아닙니다.
AI 평가는 무엇을 측정하나
평가는 먼저 사용 사례와 실패 기준을 정하고, 대표 입력과 기대 결과, 채점 방법을 만듭니다. OpenAI Evals 문서는 모델 출력이 지정한 스타일과 내용 기준을 충족하는지 테스트하고 모델 변경 전후 성능을 이해하는 과정으로 설명합니다.
모델 단독 평가와 검색·도구·프롬프트가 포함된 시스템 평가는 구분해야 합니다. 검색 실패 때문에 답이 틀렸다면 모델 지식 점수만으로 원인을 설명할 수 없습니다.
정확도와 실패 유형 계산 예시
고객 문의 200개를 환불, 배송, 계정으로 분류하는 시스템을 평가한다고 가정하겠습니다. 정답과 일치한 건이 176개라면 정확도는 176÷200=88%입니다. 그러나 계정 잠금 20개 중 8개를 놓쳤다면 해당 유형 재현율은 12÷20=60%여서 전체 정확도만 보고 배포하면 위험합니다.
| 지표 | 분자 | 분모 |
|---|---|---|
| 정확도 | 전체 정답 176 | 전체 200 |
| 계정 잠금 재현율 | 찾은 12 | 실제 20 |
| 형식 성공률 | 파싱 성공 수 | 전체 응답 수 |
벤치마크·테스트·모니터링과 구분
벤치마크는 여러 모델을 공통 과제로 비교하는 자료입니다. 제품 평가는 실제 사용자의 입력과 업무 규칙을 반영해야 합니다. 출시 전 테스트는 고정 데이터에서 재현성을 보고, 운영 모니터링은 실제 입력 분포와 오류 변화를 추적합니다.
평가 모범 사례 문서는 생성형 AI의 비결정성과 입력 변형, 도구 호출, 다중 에이전트 핸드오프 같은 경계 사례를 평가하라고 안내합니다. 정상 경로만 모으면 실제 실패를 과소평가합니다.
평가 설계의 한계
평가 데이터가 실제 사용자와 다르거나 정답에 오류가 있으면 점수도 잘못됩니다. 평가 문항이 훈련 데이터에 포함된 오염 가능성, 사람 채점자 간 불일치, LLM 심판의 편향도 기록해야 합니다. 한 번 통과한 모델도 프롬프트, 색인, 도구, 정책이 바뀌면 다시 평가하는 편이 안전합니다. 평가 결과를 공유할 때는 전체 평균뿐 아니라 질문 유형별 표본 수, 실패 사례 수, 사람 채점자 간 불일치, 실행한 모델과 프롬프트 버전, 검색 색인 기준일을 함께 제시해야 다른 사람이 같은 조건에서 결과를 해석할 수 있습니다.
- 표본 수, 기간, 언어, 난이도를 공개합니다.
- 평균과 함께 치명적 실패 건수를 봅니다.
- 모델 버전과 실행 설정을 보존합니다.
- 평가 통과와 법적·업무 승인 완료를 같은 상태로 부르지 않습니다.
자주 묻는 질문
- 공개 벤치마크 1위면 우리 업무에도 가장 좋은가요?
- 단정할 수 없습니다. 실제 입력, 언어, 도구, 지연, 비용, 안전 기준으로 별도 평가해야 합니다.
- AI 평가는 한 번만 하면 되나요?
- 아닙니다. 모델·프롬프트·검색 자료·도구가 바뀌거나 실제 입력 분포가 달라지면 회귀 평가와 운영 모니터링을 반복해야 합니다.
출처와 확인 범위
- Evaluations · OpenAI Developers · 확인 2026-10-27
AI 평가는 정한 스타일·내용 기준에 모델 출력이 맞는지 테스트하며 모델 변경이나 업그레이드 전후 비교에 쓰입니다.
확인 범위: OpenAI Evals API와 2026년 폐기 일정이 포함된 제품 문서입니다.
- Evaluation best practices · OpenAI Developers · 확인 2026-10-27
생성형 AI의 변동성을 고려해 구조화된 테스트, 대표 사례와 경계 사례, 명확한 채점 기준을 설계해야 합니다.
확인 범위: OpenAI가 권하는 평가 설계이며 사람 평가를 완전히 대체하지 않습니다.