토큰
Token · AI 토큰
AI 토큰은 언어 모델이 입력과 출력을 처리할 때 텍스트와 일부 멀티모달 정보를 나누는 계산 단위입니다. 단어·글자·API 호출 횟수와 같지 않으며 모델·언어·공급사에 따라 분할과 과금이 달라집니다.
AI 보조 조사·작성 후 원문과 대조한 설명입니다. 사례·계산은 별도 출처 표기가 없는 한 이해를 위한 가상 예시이며 실제 고객 성과가 아닙니다.
토큰은 어떤 역할을 하나요?
OpenAI 문서는 모델이 텍스트를 토큰 단위로 읽고 쓰며 입력과 출력 토큰이 한도·지연·비용에 영향을 준다고 설명합니다. OpenAI 토큰 안내 영어의 글자당 경험칙을 한국어에 그대로 적용하지 않고 실제 모델의 사용량 필드나 공식 계산기로 확인합니다. 같은 문장을 보내도 모델 버전과 시스템 메시지 또는 도구 정의가 바뀌면 입력 토큰이 달라질 수 있으므로 대표 요청 묶음을 보관하고 가격 변경 때 다시 측정해야 이전 견적과 현재 청구를 비교할 수 있습니다.
무엇과 구분해야 하나요?
| 구분 | 판단 기준 |
|---|---|
| 입력 토큰 | 프롬프트·시스템 지시·도구 정의 등에 쓰인 단위입니다. |
| 출력 토큰 | 모델이 생성한 결과에 쓰인 단위입니다. |
| 캐시 토큰 | 반복 입력을 재사용할 때 공급사가 별도 가격을 적용할 수 있습니다. |
| API 호출 | 한 호출 안에 여러 입력·출력 토큰이 포함됩니다. |
실무에서는 어떻게 계산하거나 확인하나요?
가상의 모델 가격이 입력 100만 토큰당 5,000원, 출력 100만 토큰당 15,000원이라고 가정합니다. 한 달 입력 800만, 출력 200만이면 입력 4만원+출력 3만원=7만원입니다. 도구 호출·이미지·캐시 가격이 따로 있다면 같은 식에 무조건 넣지 않고 공급사 가격표 항목별로 계산합니다.
계약·도입·데이터 연동에서는 무엇을 확인하나요?
Anthropic은 구조화된 메시지와 도구·이미지·PDF를 받는 입력 토큰 계산 엔드포인트와 제외 조건을 문서화합니다. Anthropic 토큰 계산 문서 공급사마다 토큰화와 시스템 오버헤드가 다르므로 견적에는 모델 버전, 입력 유형, 캐시 여부, 최대 출력, 환율과 가격 확인일을 남깁니다. 실제 응답의 usage 값을 표본 로그로 대조합니다.
한계와 검수 기준은 무엇인가요?
토큰 수가 적다고 답변 품질이 높거나 비용이 항상 낮은 것은 아닙니다. 짧은 프롬프트로 재시도가 늘면 총 사용량이 커질 수 있습니다. 공급사가 모델이나 토크나이저·가격을 바꾸면 과거 추정치를 그대로 쓰지 않고 같은 대표 요청으로 다시 측정합니다.
자주 묻는 질문
- 한국어 한 글자는 한 토큰인가요?
- 항상 그렇지 않습니다. 모델과 토크나이저에 따라 여러 글자가 한 토큰이 되거나 한 글자가 여러 토큰으로 나뉠 수 있습니다.
- 입력과 출력 가격은 같은가요?
- 공급사와 모델에 따라 다릅니다. 캐시·배치·도구·이미지 가격도 별도일 수 있습니다.
- 토큰 계산 API 결과가 청구액과 같은가요?
- 입력 추정에는 유용하지만 실제 출력과 가격 적용·환율·할인이 더해집니다. 청구 사용량을 함께 대조해야 합니다.
출처와 확인 범위
- Advanced usage: Managing tokens · OpenAI Developers · 확인 2026-10-27
토큰이 단어·글자·호출 수와 다른 모델 처리 단위라는 근거입니다.
확인 범위: OpenAI 모델 설명이며 타 공급사의 토큰화·가격·캐시 규칙을 대표하지 않습니다.
- Token counting · Anthropic Docs · 확인 2026-10-27
공급사별 입력 구조와 계산 API가 다르다는 실제 예입니다.
확인 범위: Anthropic 기능이며 실제 청구액은 사용 모델·출력·캐시·가격표를 함께 확인해야 합니다.