대규모 언어 모델(LLM)

LLM은 무엇을 하는 모델인가

생성형 서비스에 쓰이는 대표적인 자기회귀 LLM은 질문의 정답 목록을 보관했다가 꺼내는 프로그램이 아닙니다. 입력 문장과 앞서 생성한 내용에서 다음 토큰의 확률을 계산하고, 그 과정을 반복해 답을 만듭니다. Microsoft의 RAG 설명도 LLM의 훈련 시점 공개 데이터만으로는 사내 문서나 자주 바뀌는 정보가 부족할 수 있다고 밝힙니다.

따라서 모델 크기만으로 업무 적합성을 판단하면 안 됩니다. 지원하는 입력 유형, 컨텍스트 길이, 도구 호출, 구조화 출력, 응답 지연, 비용, 평가 결과를 함께 봐야 합니다. 같은 모델도 지시문과 제공 자료가 달라지면 결과가 달라질 수 있습니다.

토큰 예시로 생성 과정을 이해하기

가정해 보겠습니다. 입력이 "이번 캠페인의 핵심 지표는"이라면 모델은 다음 토큰 후보로 "전환율", "매출", "도달" 등에 확률을 부여합니다. 하나를 선택한 뒤 새 맥락에서 다시 다음 토큰을 계산합니다. 이 확률 계산은 문장이 자연스러운지에는 강하지만 선택된 지표가 회사의 실제 계약 정의와 같은지는 자동으로 보증하지 않습니다.

검색·RAG·챗봇과 어떻게 다른가

LLM은 생성 모델, 검색은 관련 자료를 찾는 과정, RAG는 검색 결과를 모델 입력에 넣는 설계입니다. 챗봇은 사용자가 대화하는 인터페이스이므로 규칙 기반일 수도 있고 LLM을 쓸 수도 있습니다. OpenAI 프롬프트 문서처럼 모델은 텍스트뿐 아니라 코드나 JSON도 만들 수 있지만 출력 형식이 가능하다는 사실과 내용이 정확하다는 평가는 분리해야 합니다.

• 모델 재학습은 행동이나 특정 과업 성능을 바꾸는 작업입니다.
• RAG는 질문 시점에 외부 자료를 찾아 입력에 덧붙입니다.
• 검색 연결이 없으면 최신 정보는 모델 지식에 자동 반영되지 않습니다.

도입 전에 확인할 한계

LLM은 그럴듯하지만 틀린 내용을 만들 수 있고, 같은 질문에도 표현이나 결론이 달라질 수 있습니다. 개인정보·계약·의료·법률처럼 오류 비용이 큰 업무에서는 허용할 입력, 금지할 행동, 사람이 승인할 단계와 로그 보관 범위를 먼저 정해야 합니다. 긴 문서를 넣을 수 있다는 사양도 핵심 정보를 정확히 회수한다는 보장은 아닙니다.

비교 평가는 실제 업무 질문 세트로 하세요. 정답 일치율의 분모는 평가한 전체 사례 수, 분자는 기준을 충족한 사례 수로 고정하고, 모델·프롬프트·도구·실행일을 기록해야 재현 가능한 비교가 됩니다.

자주 묻는 질문

LLM은 인터넷의 최신 정보를 항상 알고 있나요?

아닙니다. 훈련 데이터의 기준 시점과 검색 도구 연결 여부에 따라 다릅니다. 최신 가격이나 정책은 원문을 조회하고 답에 사용된 출처를 확인해야 합니다.

모델 파라미터가 많으면 무조건 더 좋은가요?

그렇지 않습니다. 특정 업무의 정확성, 지연 시간, 비용, 보안, 도구 사용 성공률을 같은 평가 세트로 비교해야 합니다.

출처와 확인 범위

1. Retrieval augmented generation (RAG) and indexes · Microsoft Learn · 확인 2026-10-27

   RAG는 검색으로 찾은 내용을 모델 입력에 포함해 답변을 근거 데이터에 연결하는 패턴이며, 검색 품질·토큰·지연·접근통제의 영향을 받습니다.

   확인 범위: Microsoft Foundry와 Azure AI Search 중심의 구현 설명입니다.

2. Prompt engineering · OpenAI Developers · 확인 2026-10-27

   프롬프트는 모델에 제공하는 입력이며 역할·지시·예시·맥락을 설계해 원하는 출력 형식과 행동을 유도합니다.

   확인 범위: OpenAI API 사용법 중심이며 같은 프롬프트의 결과를 보장하지 않습니다.

함께 이해할 용어