AI API 비용 계산, 입력·출력 토큰과 재시도 비용

작업과 API 호출 단위를 어떻게 구분하나요?

마케팅 원문 한 건을 분류하는 업무에도 전처리, 분할, 분류, 결과 교정 요청이 들어갈 수 있습니다. 작업 ID 아래에 호출 ID를 연결하면 문서 수와 요청 수의 차이를 찾을 수 있습니다.

호출 로그에 남길 값

• 작업 ID, 호출 ID, 모델과 실행 시각
• 입력 토큰, 출력 토큰, 캐시된 입력 사용량
• 성공·실패 상태와 오류 코드
• 재시도 원인과 같은 작업의 호출 순번
• 최종 결과가 업무에 채택됐는지 여부

Google Cloud Agent Platform의 GenerateContent 응답 명세에는 입력에 해당하는 promptTokenCount, 생성 후보의 candidatesTokenCount, 전체 사용량인 totalTokenCount와 cachedContentTokenCount가 별도 필드로 정의돼 있습니다. 이 필드명은 Google Cloud Agent Platform API에만 적용되므로 다른 공급사 로그에 그대로 적용하지 말고, 각 공급사의 대응 항목을 따로 매핑하세요.

입력·출력·캐시 비용표는 어떻게 만드나요?

공통 산식은 공급사별 입력 사용량과 그 입력 단가의 곱, 출력 사용량과 출력 단가의 곱, 캐시·배치·추가 기능 중 실제 적용된 공식 과금 항목을 합하는 구조입니다. 서로 다른 공급사의 토큰 정의나 할인 조건을 한 줄에 섞지 말고 공급사와 모델별 소계를 낸 뒤 합산하세요.

Google Cloud Agent Platform 가격 문서는 모델 표에서 입력, 출력, 캐시 적중, 배치 요청처럼 과금 유형을 나눠 제시합니다. 이는 Google Cloud 모델·트래픽별 조건이며 다른 공급사 규칙이 아닙니다. 가격표가 바뀌면 과거 로그의 당시 모델·단가와 새 예산을 섞지 말고 확인일을 남깁니다.

오류·재시도·테스트 비용은 어디에 넣나요?

네트워크 오류, 제한 초과, 잘못된 출력 형식, 품질 기준 미달을 구분합니다. 모든 재시도를 실패로 묶으면 시스템 문제와 업무 설계 문제를 찾기 어렵습니다. 같은 요청을 그대로 다시 보낸 것과 프롬프트를 수정해 새 판단을 받은 것도 나눠 적으세요.

재시도 예산을 줄이는 점검

• 오류 코드별 자동 재시도 가능 여부와 최대 횟수
• 지수형 대기와 중복 요청 방지 키
• 긴 입력의 분할 기준과 최대 출력 길이
• 시험·개발·운영 프로젝트의 사용량 분리
• 사람 검수에서 반려된 결과의 재호출 규칙

실패 호출의 청구 여부는 공급사와 제품별로 확인합니다. 예를 들어 Google Cloud 가격 페이지에는 다루는 서비스의 응답 코드별 청구 조건이 명시돼 있지만, 그 조건을 다른 API에 일반화할 수는 없습니다. 시도별 상태 코드와 사용량을 남기고 공식 청구 규칙에 대조하세요. 테스트 환경도 실제 유료 요청을 보내는 경우가 있으므로 샘플 데이터와 최대 호출량을 정해 운영 예산과 분리합니다.

성공 작업당 비용은 어떻게 계산하나요?

전체 API 사용량을 성공한 업무 결과 수로 나눕니다. 성공은 응답을 받은 횟수가 아니라 분류 결과가 저장되고 후속 업무에 쓰인 건수로 정의하세요. 호출은 성공했지만 형식 오류로 버린 결과라면 사용량에는 포함하고 성공 작업 수에는 넣지 않습니다.

작업 유형별로 평균 입력 길이와 재시도율이 다르므로 짧은 제목 분류와 긴 보고서 요약을 한 평균으로 합치지 마세요. 유형별 성공 작업당 입력, 출력, 호출 횟수를 구하면 예산이 늘어난 원인을 설명하기 쉽습니다.

예산 시나리오는 어떤 순서로 비교하나요?

최근 운영 로그에서 작업 유형별 중앙값과 상위 사용량 구간을 뽑습니다. 여기에 예정 작업 수를 곱해 기준 시나리오를 만들고, 긴 문서 비중이나 재시도율이 높아지는 경우를 별도 시나리오로 둡니다. 단가를 바꾸기 전에 입력 길이, 출력 상한, 호출 횟수 중 무엇이 증가했는지 보여야 합니다.

모델 변경 시험에서는 같은 샘플과 동일한 성공 기준을 사용합니다. 토큰 사용량이 적더라도 반려율이 올라 재호출이 늘면 성공 작업당 사용량은 줄지 않을 수 있습니다. 반대로 결과 길이를 무조건 줄이면 담당자가 수작업으로 보완하는 시간이 늘 수 있으므로 API 비용과 운영 시간을 따로 기록하세요.

월말 대조 순서

• 애플리케이션 로그의 호출 수와 공급사 사용량 화면을 비교합니다.
• 프로젝트·모델·환경 태그가 빠진 호출을 찾습니다.
• 예산표의 예상 토큰과 실제 입력·출력·캐시 토큰 차이를 적습니다.
• 실패, 재시도, 사람이 버린 결과를 작업 유형별로 집계합니다.
• 단가 변경과 환율·세금 차이는 사용량 증감과 분리합니다.

청구 합계가 로그와 다르면 누락된 조직이나 프로젝트, 집계 시차, 별도 도구 호출부터 확인합니다. 원인을 찾기 전에 평균 비용을 덮어쓰면 다음 달 예상치도 같은 방향으로 틀릴 수 있습니다.

예산 알림과 제한은 무엇을 설정하나요?

프로젝트별 월 예산 경고, 분당 요청·토큰 제한, 일별 최대 작업 수를 정합니다. 경고를 받았을 때 중단할 호출과 계속할 업무를 미리 구분하세요. 자동화 전체를 멈추지 않고 비필수 재분석만 보류할 수도 있습니다.

예산표에는 예상 사용량, 실제 사용량, 공식 단가 확인일, 환율·세금 처리, 미확인 기능을 따로 둡니다. 공개 가격을 읽지 못한 모델이나 계약 할인은 추정값으로 채우지 말고 공급사 확인 항목으로 남기세요.

공식 확인 자료

• Google Cloud GenerateContent 사용량 명세

  Google Cloud 공식 API 원문입니다. 입력·출력·전체·캐시 사용량 필드를 확인했으며 다른 공급사의 필드 규칙으로 사용하지 않습니다.

• Google Cloud Agent Platform 가격 문서

  Google Cloud 공식 가격 원문입니다. 과금 유형과 조건의 구분만 참고했으며 변동 가능한 금액을 원고에 옮기지 않았습니다.

자주 묻는 질문

글자 수를 토큰 수로 바로 바꿔도 되나요?

언어, 모델의 토크나이저, 공백과 기호에 따라 달라집니다. 사용 중인 공급사의 토큰 계산 도구와 실제 응답 사용량 필드로 확인하세요.

API 호출이 실패하면 비용이 발생하지 않나요?

실패 단계, 응답 코드와 공급사 정책에 따라 다릅니다. 한 공급사의 실패 청구 규칙을 다른 API에 적용하지 말고 호출 로그와 그 제품의 공식 가격 문서를 대조하세요.

캐시를 쓰면 항상 비용이 줄어드나요?

캐시 적용 조건, 저장 비용, 유지 범위와 선택한 모델의 공식 단가에 따라 달라집니다. 실제 응답에서 캐시 처리된 입력 사용량을 따로 확인하세요.

AI API 예산표에 어떤 금액을 넣어야 하나요?

사용할 모델과 기능의 현행 공식 가격, 계약 할인, 통화와 세금 조건을 확인한 값만 넣습니다. 이 글은 임의 단가를 제시하지 않습니다.

출처와 확인 범위

1. GenerateContentResponse: UsageMetadata · Google Cloud Agent Platform REST API · 확인 2026-10-27

   뒷받침하는 내용: Google Cloud GenerateContent 응답의 usageMetadata는 promptTokenCount, candidatesTokenCount, totalTokenCount와 cachedContentTokenCount 등 사용량 필드를 구분합니다.
   확인 범위·한계: Google Cloud Agent Platform 응답 스키마입니다. 다른 공급사의 필드명, 토큰 계산 방식이나 청구 규칙을 설명하지 않습니다.

2. Agent Platform Pricing · Google Cloud · 확인 2026-10-27

   뒷받침하는 내용: Google Cloud 가격 문서는 해당 모델과 서비스별로 입력·출력·캐시·배치 등 과금 유형과 일부 응답 코드별 청구 조건을 구분합니다.
   확인 범위·한계: Google Cloud의 현행 제품별 가격 문서입니다. 표마다 적용 모델과 조건이 다르며 다른 공급사에 일반화할 수 없습니다.

먼저 이해하면 좋은 용어

함께 볼 공개 가이드