01
Escoge la codificación concreta
El valor inicial es o200k_base. Cambia a cl100k_base si necesitas ese vocabulario. Los IDs pertenecen a la codificación seleccionada; no se deducen de cualquier nombre de modelo.
Desarrollo de IA / LLM
Contador de tokensDescubre cada fragmento
Elige una codificación implementada, revisa los IDs y escribe tus propios valores de capacidad.
Contador de tokens
Texto o arreglo JSON de cadenas
El texto permanece en este navegador. El vocabulario puede descargarse una vez; ningún prompt se envía a una API de modelos.
Recuento y presupuesto
0
Escribe texto para contarlo.
Presupuesto y plantilla
Escribe texto para contarlo.
Un prompt breve puede fragmentarse mucho si combina código, signos y varios idiomas. El contador de tokens muestra los IDs reales de la codificación elegida en vez de adivinar a partir de los caracteres.
En un lote, cada cadena del arreglo JSON se trata como una solicitud distinta. El contador de tokens suma el trabajo total, pero verifica la ventana de contexto para cada elemento.
¿Por qué usar este contador de tokens?
Ver dónde corta el vocabulario
El contador de tokens muestra cada ID del vocabulario BPE elegido. Un espacio inicial, un salto de línea o un carácter no latino pueden cambiar los límites. Conserva los bytes cuando un carácter Unicode ocupa varios IDs.
Medir cada solicitud de un lote
El lote completo no comparte una sola ventana de contexto. El contador de tokens recodifica cada cadena junto con el prefijo y sufijo comunes, y calcula su margen tras la reserva de salida y tu gasto adicional. La suma del lote solo indica trabajo total.
Interpretar los números sin suposiciones
02
Conserva los saltos dentro del elemento
El lote acepta un arreglo JSON de cadenas. Un salto de línea dentro de una cadena sigue siendo parte del mismo prompt. El recuento automático espera 350 ms tras los cambios; en modo manual sirve Ctrl/Cmd+Enter.
03
Separa plantilla y capacidad
El prefijo y el sufijo se recodifican junto al texto. Una unión BPE en el límite puede dar una diferencia negativa. Introduce ventana, reserva de salida y gasto conocido; un resultado desactualizado no se exporta.
Inspecciona fragmentos y lotes de prompts
Dos vocabularios reales
Se emplea o200k_base o cl100k_base en lugar de dividir caracteres por cuatro. El tokenizador muestra IDs y bytes UTF-8 propios de la codificación elegida.
Cuentas independientes
Puedes contar tokens online para hasta 100 cadenas JSON sin dividir prompts de varias líneas. La pantalla revela 50 elementos cada vez y el JSON exportado conserva todos los IDs.
Plantilla recodificada
Se añade el mismo prefijo y sufijo a cada cadena antes de contar. Se muestran por separado tokens originales, texto combinado y diferencia; sumar partes aisladas sería incorrecto.
Límite introducido por ti
Indica la ventana de contexto y la salida reservada. El gasto de formato es una estimación propia; no se atribuyen límites ni precios automáticos a un modelo.
Alcance y límites del resultado
- Solo texto con la codificación elegida
- El contador de tokens implementa o200k_base y cl100k_base. No ofrece cifras exactas para Claude, Gemini ni Llama, cuyos tokenizadores son distintos.
- La petición API puede incluir más
- Roles, esquemas de herramientas, imágenes y archivos quedan fuera del texto medido. El gasto adicional por elemento es lo que tú estimes, no tokens de formato verificados por una API.
- La ventana inicial es un ejemplo
- Los 128 000 tokens de contexto y 4096 reservados para salida se pueden editar. Un margen positivo no garantiza que la API acepte la petición completa.
- Capacidad local limitada
- El texto individual admite hasta 200 000 caracteres; el JSON por lotes, 500 000 caracteres y 100 cadenas. Un valor que no sea cadena produce un error con índice; no se aceptan archivos ni se predicen precios.
Preguntas sobre el contador de tokens
¿Por qué el mismo texto tiene distintos recuentos de tokens según el modelo?
Cada vocabulario tiene otras reglas de unión. Compara el mismo texto con o200k_base y cl100k_base para ver cómo varían los fragmentos y sus IDs.
¿Un token equivale siempre a cuatro caracteres?
No. Es un promedio aproximado para prosa inglesa. Código, espacios y otros sistemas de escritura requieren medir el texto real.
¿El contador llama a la API de OpenAI para calcular tokens?
No. Se carga el vocabulario estático en el navegador y el prompt se procesa allí, sin enviarlo a una API de modelos.
¿Por qué importa el número de tokens?
Ayuda a reservar espacio para entrada y salida dentro de un contexto. La facturación de una solicitud completa puede incluir otros componentes.
¿Sirve este recuento para Claude o Gemini?
No como cifra exacta. Esos proveedores usan otros tokenizadores; verifica la solicitud con su propio sistema de recuento.
¿Por qué no coincide con el consumo que muestra la API?
La API puede sumar límites de mensajes, instrucciones de sistema, herramientas, adjuntos y salida generada. Esta página mide texto y tu gasto adicional declarado.
¿Resultado inesperado?
Prueba el contador de tokens con un prompt
Pega un texto representativo o un arreglo JSON, comprueba los IDs e introduce los valores de capacidad de tu solicitud real.