검색 증강 생성(RAG)

RAG는 어떤 순서로 작동하나

RAG는 보통 검색, 보강, 생성의 세 단계로 나눕니다. 먼저 질문과 관련된 문서 조각을 찾고, 해당 조각과 질문을 하나의 입력으로 구성한 뒤 모델이 답을 만듭니다. Microsoft 문서는 키워드·의미·벡터·하이브리드 검색을 RAG의 검색 방식으로 제시합니다.

RAG의 품질은 모델이 자료를 보유했는지가 아니라 요청 시점에 어떤 자료를 찾아 어느 범위까지 제공했는지에 달려 있습니다. 문서 제목·URL·작성일 같은 메타데이터를 함께 저장하면 답에서 출처를 표시하고 오래된 자료를 걸러내기 쉽습니다.

사내 정책 질문의 가정 예시

사내 복리후생 문서 500개를 대상으로 "배우자 건강검진 지원 한도"를 묻는 상황을 가정해 보겠습니다. 시스템은 문서를 일정 길이로 나누어 색인하고, 질문과 가까운 조각 10개를 찾은 뒤 상위 3개를 모델에 전달합니다. 답에는 금액뿐 아니라 문서명과 시행일을 붙입니다.

파인튜닝과 검색은 무엇이 다른가

파인튜닝은 모델의 행동, 말투 또는 특정 작업 성능을 조정하는 데 쓰고, RAG는 자주 바뀌거나 비공개인 사실을 요청 시점에 제공하는 데 적합합니다. LlamaIndex 문서는 RAG를 데이터 적재, 색인, 저장, 질의, 평가의 흐름으로 설명합니다.

• 정책 문서가 매주 바뀌면 재학습보다 색인 갱신이 관리하기 쉽습니다.
• 브랜드 문체를 안정적으로 맞추는 목적은 프롬프트나 파인튜닝이 더 관련될 수 있습니다.
• 두 방법은 배타적이지 않아 파인튜닝한 모델에 RAG를 결합할 수 있습니다.

RAG가 틀릴 수 있는 이유

RAG를 붙여도 정답이 보장되지는 않습니다. 잘못 나눈 문서, 빠진 자료, 부정확한 검색어 변환, 낮은 재현율, 관련 없는 상위 결과가 답을 훼손할 수 있습니다. 검색된 문서 안에 악의적인 지시가 있으면 프롬프트 인젝션 경로도 생깁니다. 운영 환경에서는 질문별로 정답 근거가 상위 검색 결과에 들어왔는지, 모델 답이 그 근거와 일치하는지, 권한이 없는 문서가 섞이지 않았는지를 서로 다른 항목으로 기록해야 어느 단계의 수정이 필요한지 판단할 수 있습니다.

평가할 때는 검색과 답변을 분리하세요. 검색 재현율은 정답 근거가 상위 k개 결과 안에 포함된 질문 수를 전체 질문 수로 나눕니다. 답변 정확도는 별도의 채점 기준으로 계산해야 어느 단계가 문제인지 알 수 있습니다.

자주 묻는 질문

RAG를 쓰면 할루시네이션이 없어지나요?

아닙니다. 검색 결과가 빠지거나 틀릴 수 있고, 모델이 근거 밖 내용을 추가할 수도 있습니다. 인용 검증과 답변 평가가 필요합니다.

문서가 바뀌면 모델을 다시 학습해야 하나요?

보통은 변경 문서를 다시 분할하고 색인을 갱신합니다. 모델 행동 자체를 바꾸려는 경우가 아니라면 매번 재학습할 필요는 없습니다.

출처와 확인 범위

1. Retrieval augmented generation (RAG) and indexes · Microsoft Learn · 확인 2026-10-27

   RAG는 검색으로 찾은 내용을 모델 입력에 포함해 답변을 근거 데이터에 연결하는 패턴이며, 검색 품질·토큰·지연·접근통제의 영향을 받습니다.

   확인 범위: Microsoft Foundry와 Azure AI Search 중심의 구현 설명입니다.

2. Introduction to RAG · LlamaIndex · 확인 2026-10-27

   RAG는 데이터를 적재·색인하고 질의와 관련된 맥락을 찾아 LLM에 전달하는 파이프라인이며 평가 단계가 필요합니다.

   확인 범위: LlamaIndex 프레임워크의 용어와 구현 흐름을 따릅니다.

함께 이해할 용어