할루시네이션
Hallucination
할루시네이션은 생성형 AI가 제공된 근거나 확인 가능한 사실과 맞지 않는 내용을 그럴듯하게 만들어 내는 현상을 가리킵니다. 모델이 사람처럼 사실을 알고도 의도적으로 거짓말한다는 뜻과는 구분해야 합니다.
AI 보조 조사·작성 후 원문과 대조한 설명입니다. 사례·계산은 별도 출처 표기가 없는 한 이해를 위한 가상 예시이며 실제 고객 성과가 아닙니다.
할루시네이션은 어떤 오류인가
모델이 존재하지 않는 논문을 인용하거나, 제공된 계약서에 없는 해지 조건을 답하거나, 실제 함수에 없는 인자를 만들어 내는 경우가 대표적입니다. 문법과 문체가 자연스러워도 사실성과 근거 일치는 별개의 문제입니다.
Microsoft RAG 문서는 검색으로 근거를 제공해도 검색 결과가 관련 없거나 불완전하면 모델이 부정확한 답을 만들 수 있다고 밝힙니다. RAG는 위험을 줄이는 방법이지 제거 보장이 아닙니다.
근거 일치율 계산 예시
정답 근거가 있는 질문 100개를 평가했다고 가정하겠습니다. 답변 중 82개가 근거와 일치하고, 8개는 일부만 맞으며, 10개는 근거에 없는 내용을 포함했습니다. 엄격한 완전 일치율은 82÷100=82%입니다. 일부 일치를 절반 점수로 계산하려면 그 채점 규칙을 결과와 함께 밝혀야 합니다.
| 판정 | 건수 | 기준 |
|---|---|---|
| 일치 | 82 | 핵심 주장 모두 근거 확인 |
| 부분 일치 | 8 | 일부 주장만 확인 |
| 불일치 | 10 | 근거 밖 주장 포함 |
단순 오류·창작·의도적 거짓말과 구분
계산 실수나 오래된 정보는 결과가 틀렸다는 점에서는 같지만 원인이 다를 수 있습니다. 사용자가 소설을 요청해 만든 허구는 과업에 맞는 창작입니다. 반면 사실 질문에 없는 출처를 만든다면 할루시네이션으로 평가할 수 있습니다. 모델에는 사람의 의도를 그대로 귀속하기 어려우므로 "거짓말했다"보다 관찰된 오류를 기술하는 편이 정확합니다.
NIST AI RMF의 취지처럼 AI 위험은 신뢰성·책임성 관점에서 측정하고 관리해야 합니다. 오류 유형과 피해 가능성에 따라 허용 기준을 달리 정합니다.
줄이는 방법과 남는 한계
근거 문서를 제한하고 출처 표시를 요구하며, 모르면 답하지 않도록 지시하고, 계산은 별도 도구로 처리하면 위험을 낮출 수 있습니다. 그러나 출처 자체가 틀리거나 문서 검색이 실패하면 답도 틀릴 수 있습니다. 인용 URL이 존재한다는 사실만으로 해당 문장이 원문에 있다는 보장도 없습니다. 오류를 관리할 때는 답변 전체를 맞음과 틀림으로만 나누지 말고, 존재하지 않는 출처 생성, 수치 왜곡, 근거 누락, 오래된 정보 사용처럼 유형을 구분해 업무 피해가 큰 항목부터 줄이는 편이 낫습니다.
- 주장 단위로 출처와 일치 여부를 확인합니다.
- 오류 비용이 큰 행동은 사람 승인을 거칩니다.
- 모델·프롬프트·검색 색인 변경 뒤 같은 평가를 반복합니다.
자주 묻는 질문
- RAG를 연결하면 할루시네이션이 사라지나요?
- 아닙니다. 검색 누락, 오래된 문서, 잘못된 해석, 근거 밖 생성 때문에 오류가 남을 수 있습니다.
- 할루시네이션 비율은 어떻게 계산하나요?
- 평가할 전체 답변 수를 분모로 두고, 사전에 정한 불일치 기준에 해당하는 답변 수를 분자로 계산합니다. 질문 유형과 평가 기간도 함께 밝혀야 합니다.
출처와 확인 범위
- Retrieval augmented generation (RAG) and indexes · Microsoft Learn · 확인 2026-10-27
RAG는 검색으로 찾은 내용을 모델 입력에 포함해 답변을 근거 데이터에 연결하는 패턴이며, 검색 품질·토큰·지연·접근통제의 영향을 받습니다.
확인 범위: Microsoft Foundry와 Azure AI Search 중심의 구현 설명입니다.
- AI Risk Management Framework · NIST · 확인 2026-10-27
AI 위험 관리는 신뢰성·안전성·책임성을 목표로 측정과 관리 활동을 반복해야 합니다.
확인 범위: 개별 생성 모델 오류율이나 특정 제품 성능 수치를 제공하지 않습니다.