01
모델 이름 대신 인코딩 확인
기본값은 o200k_base입니다. 필요한 어휘가 cl100k_base라면 바꾸세요. 토큰 ID는 해당 인코딩에만 해당하며 임의의 모델 이름으로 자동 추정하지 않습니다.
AI / LLM 개발
토큰 계산기숫자 뒤의 분할을 확인하세요
실제로 구현된 인코딩을 고르고 토큰 ID를 확인하세요. 문맥 한도는 직접 입력합니다.
토큰 계산기
텍스트 또는 JSON 문자열 배열
텍스트는 브라우저에서만 처리합니다. 어휘 데이터는 처음에 내려받을 수 있지만 프롬프트를 모델 API로 보내지 않습니다.
토큰 수와 예산
0
계산할 텍스트를 입력하세요.
예산과 템플릿 설정
계산할 텍스트를 입력하세요.
짧아 보이는 프롬프트도 코드, 기호, 한글이 섞이면 예상보다 많은 토큰으로 나뉩니다. 토큰 계산기는 글자 수로 추측하지 않고 선택한 어휘의 ID를 보여 줍니다.
여러 프롬프트를 시험할 때는 JSON 문자열 배열의 각 항목을 별도 요청으로 계산합니다. 토큰 계산기의 합계는 전체 작업량이고 문맥 여유는 요청별로 표시합니다.
토큰 계산기를 쓰는 이유
실제 분할 경계 보기
토큰 계산기는 선택한 BPE 어휘의 ID를 각각 보여 줍니다. 앞 공백, 줄바꿈, 한글은 화면에 보이는 단어와 다른 방식으로 나뉠 수 있습니다. 한 유니코드 문자가 여러 ID에 걸쳐도 바이트 경계는 유지합니다.
요청마다 남은 용량 확인
배열 전체를 하나의 문맥 창과 비교하지 않습니다. 토큰 계산기는 각 항목에 공통 접두·접미 텍스트를 붙여 다시 계산하고, 입력한 출력 예약과 추가분을 반영해 항목별 남은 용량을 보여 줍니다.
숫자를 올바르게 해석하는 순서
02
여러 줄도 한 항목으로 유지
일괄 모드는 JSON 문자열 배열을 받습니다. 문자열 안의 줄바꿈이 다른 요청으로 분리되지 않습니다. 수정 후 350ms에 자동 계산하며, 수동 모드에서는 Ctrl/Cmd+Enter를 누를 수 있습니다.
03
템플릿과 남은 문맥 분리
접두·접미와 원문을 합쳐 다시 인코딩합니다. 경계를 넘는 BPE 결합 때문에 차이가 음수일 수도 있습니다. 문맥 한도와 출력 예약을 직접 입력하고, 오래된 결과는 내보내지 마세요.
토큰 조각과 일괄 예산 확인
두 가지 실제 어휘
글자 수 나누기 대신 o200k_base 또는 cl100k_base를 사용합니다. 토큰 카운터가 보여 주는 각 ID와 UTF-8 바이트는 선택한 어휘에만 유효합니다. 토큰 수 세기에도 실제 어휘를 사용합니다.
줄바꿈을 보존하는 일괄 처리
최대 100개의 JSON 문자열을 독립적으로 셉니다. 화면에는 50개씩 보이지만 다운로드한 JSON에는 전체 항목과 ID가 담깁니다.
공통 문장 재인코딩
각 원문 앞뒤에 공통 문장을 붙인 뒤 전체를 인코딩합니다. 원문 수, 결합 후 수, 차이를 별도로 보여 단순 덧셈의 오류를 피합니다.
직접 정하는 문맥 예산
문맥 한도와 출력 예약을 입력해 항목마다 여유를 확인합니다. 토크나이저는 제공하지만 모델별 한도나 요금을 자동으로 주장하지 않습니다.
계산에 포함되는 것과 빠지는 것
- 선택한 인코딩의 순수 텍스트
- 토큰 계산기는 o200k_base와 cl100k_base만 구현합니다. Claude, Gemini, Llama의 정확한 값이라고 표시하지 않습니다.
- 전체 API 요청은 별개
- 메시지 역할, 도구 정의, 이미지와 파일은 포함되지 않습니다. 항목별 추가분은 사용자가 적은 추정치이지 실제 API 포장 토큰 측정값이 아닙니다.
- 기본 문맥 수치는 예시
- 128,000 문맥 한도와 4,096 출력 예약은 바꿀 수 있는 시작값입니다. 여유가 남아도 실제 모델의 수락을 보장하지 않습니다.
- 로컬 작업량 제한
- 한 텍스트는 200,000자, JSON 배열 전체는 500,000자와 100개 문자열까지 처리합니다. 문자열이 아닌 항목은 위치를 알려 주며, 파일 업로드와 비용 추정은 제공하지 않습니다.
토큰 계산기 자주 묻는 질문
같은 텍스트인데 모델마다 토큰 수가 왜 다른가요?
어휘와 결합 규칙이 다르기 때문입니다. 여기서는 o200k_base와 cl100k_base를 바꾸어 두 인코딩의 차이를 확인할 수 있습니다.
토큰 하나는 항상 글자 네 개와 같나요?
아닙니다. 영어 산문의 대략적인 평균일 뿐입니다. 한글, 코드, 공백, 이모지는 실제 입력을 계산하세요.
토큰을 계산할 때 OpenAI API를 호출하나요?
호출하지 않습니다. 정적 어휘 자료를 브라우저에 받아 로컬에서 처리하며 입력을 모델 API에 보내지 않습니다.
토큰 수가 왜 중요한가요?
프롬프트가 문맥 한도 안에 들지, 출력 공간이 남는지 판단할 때 필요합니다. 완전한 API 요청의 수치와는 구분해야 합니다.
Claude나 Gemini에도 이 계산 결과를 쓸 수 있나요?
정확한 값으로 사용할 수 없습니다. 해당 업체의 토큰 계산 기능으로 요청을 확인하세요.
API 사용량과 계산 결과가 다른 이유는 무엇인가요?
API에는 메시지 경계, 시스템 텍스트, 도구 정의, 첨부 파일, 생성 출력이 추가될 수 있습니다. 여기서는 순수 입력과 직접 적은 추가분만 계산합니다.
예상과 다른 결과인가요?