컨텍스트 윈도우
Context Window
컨텍스트 윈도우는 언어 모델이 한 번의 응답을 만들 때 참조할 수 있는 입력과 출력의 토큰 범위입니다. 모델을 학습시킨 전체 데이터나 대화가 끝난 뒤에도 남는 영구 기억과는 다른 개념입니다.
AI 보조 조사·작성 후 원문과 대조한 설명입니다. 사례·계산은 별도 출처 표기가 없는 한 이해를 위한 가상 예시이며 실제 고객 성과가 아닙니다.
컨텍스트에는 무엇이 포함되나
API 요청에서는 시스템 지시, 사용자와 도우미 메시지, 첨부 문서, 이미지 표현, 도구 설명과 도구 결과, 이번에 생성할 출력이 컨텍스트를 차지할 수 있습니다. Anthropic 문서는 이를 모델이 응답 시 참조하는 작업 기억으로 설명하며 훈련 말뭉치와 구분합니다.
대화형 제품이 오래된 메시지를 요약하거나 삭제하는 방식은 제품마다 다릅니다. 화면에 과거 대화가 보인다는 사실만으로 모든 내용이 매 요청의 컨텍스트에 그대로 들어간다고 단정할 수 없습니다.
토큰 예산 계산 예시
컨텍스트 한도가 32,000토큰이고 시스템 지시 1,500, 대화 8,000, 검색 문서 12,000토큰을 사용했다고 가정해 보겠습니다. 이미 21,500토큰을 썼으므로 출력과 추가 도구 결과에 남은 이론상 공간은 10,500토큰입니다. API가 최대 출력 길이를 별도로 제한하면 실제 출력 가능량은 더 작습니다.
| 구성 | 토큰 |
|---|---|
| 시스템 지시 | 1,500 |
| 대화 기록 | 8,000 |
| 검색 문서 | 12,000 |
| 남은 범위 | 10,500 |
컨텍스트와 기억·프롬프트의 차이
프롬프트는 모델에 보내는 지시와 자료의 구성이고, 컨텍스트 윈도우는 그 구성이 들어갈 수 있는 용량 범위입니다. 장기 기억은 대화 밖 저장소에 사용자 선호나 작업 상태를 보관했다가 다음 요청에 다시 불러오는 설계입니다. 학습 데이터는 모델 파라미터를 만드는 데 사용된 자료입니다.
OpenAI 프롬프트 문서처럼 같은 모델에도 지시와 예시를 어떻게 배치하느냐가 출력에 영향을 줍니다. 창이 크다고 관련 없는 자료까지 모두 넣는 것은 좋은 설계가 아닙니다.
긴 컨텍스트의 한계와 관리
더 긴 컨텍스트는 긴 계약서나 여러 도구 결과를 한 요청에서 다루게 하지만, 정보가 많을수록 특정 근거를 정확히 회수한다는 보장은 없습니다. 입력 토큰이 늘면 비용과 지연도 커집니다. 중요한 지침이 중간에 묻히거나 상충하는 자료가 섞일 수 있습니다. 긴 회의록이나 여러 문서를 한 번에 넣는 업무에서는 입력 토큰, 검색으로 선택한 문서 토큰, 도구 결과, 최대 출력 길이를 따로 기록해야 창 초과와 비용 증가의 원인을 정확히 찾을 수 있습니다.
- 검색으로 관련 조각만 선택합니다.
- 오래된 도구 결과는 요약하거나 제거합니다.
- 핵심 조건을 앞뒤에서 반복하기보다 명확한 우선순위를 둡니다.
- 길이별 평가 세트로 정확도 저하를 확인합니다.
자주 묻는 질문
- 컨텍스트 윈도우가 크면 모델 기억력이 영구적으로 늘어나나요?
- 아닙니다. 한 요청에서 참조할 범위가 커지는 것이며, 다음 세션까지 정보를 보존하려면 별도 저장과 불러오기 설계가 필요합니다.
- 글자 수와 토큰 수는 같은가요?
- 같지 않습니다. 언어와 토크나이저에 따라 한 단어나 글자가 여러 토큰으로 나뉠 수 있으므로 사용하는 모델의 토큰 계산기를 확인해야 합니다.
출처와 확인 범위
- Context windows · Anthropic Docs · 확인 2026-10-27
컨텍스트 윈도우는 한 응답을 만들 때 모델이 참조하는 입력과 출력 범위이며 훈련 데이터나 영구 기억과 다릅니다.
확인 범위: Claude API의 토큰 집계와 관리 방식이 중심입니다.
- Prompt engineering · OpenAI Developers · 확인 2026-10-27
프롬프트는 모델에 제공하는 입력이며 역할·지시·예시·맥락을 설계해 원하는 출력 형식과 행동을 유도합니다.
확인 범위: OpenAI API 사용법 중심이며 같은 프롬프트의 결과를 보장하지 않습니다.