01
Choisir un encodage précis
o200k_base est sélectionné au départ. Passez à cl100k_base si c’est le vocabulaire voulu. Les identifiants de tokens dépendent de cet encodage, pas d’une supposition tirée du nom du modèle.
Développement IA / LLM
Compteur de tokensVoir les fragments derrière le total
Choisissez un encodage réellement disponible, puis examinez les identifiants. Saisissez vous-même la capacité visée.
Compteur de tokens
Texte ou tableau JSON de chaînes
Le texte reste dans ce navigateur. Le vocabulaire peut être téléchargé une fois ; aucun prompt ne part vers une API de modèle.
Comptage et budget
0
Saisissez un texte à compter.
Budget et modèle de texte
Saisissez un texte à compter.
Une instruction courte peut demander beaucoup de tokens si elle mêle code, ponctuation et plusieurs langues. Le compteur de tokens révèle les identifiants réels au lieu de diviser le nombre de caractères par quatre.
Pour une série de requêtes, chaque chaîne du tableau JSON est comptée séparément. Le compteur de tokens additionne le travail total, mais compare la fenêtre de contexte à chaque élément.
Pourquoi utiliser ce compteur de tokens ?
Voir les vraies limites des fragments
Le compteur de tokens affiche chaque identifiant produit par le vocabulaire BPE choisi. Un espace initial, un saut de ligne ou une autre écriture peut changer le découpage. Les frontières d’octets restent visibles lorsqu’un caractère Unicode traverse plusieurs IDs.
Évaluer chaque requête à part
Un lot entier ne partage pas une seule fenêtre de contexte. Le compteur de tokens réencode chaque élément avec son préfixe et son suffixe communs, puis calcule la marge après votre réserve de sortie et votre estimation du formatage. Le total du lot reste une charge de travail.
Interpréter le total sans approximation
02
Garder les sauts de ligne dans leur élément
Le mode lot attend un tableau JSON de chaînes ; un saut de ligne dans une chaîne ne crée pas un autre prompt. Le calcul reprend 350 ms après une modification, ou avec Ctrl/Cmd+Entrée en mode manuel.
03
Distinguer modèle et réserve
Le préfixe et le suffixe sont réencodés avec chaque texte. Une fusion BPE aux frontières peut rendre la différence négative. Renseignez la fenêtre, la sortie réservée et le surcoût connu ; un résultat périmé ne s’exporte pas.
Explorer les fragments et les lots
Deux vocabulaires réellement chargés
Le tokeniseur en ligne utilise o200k_base ou cl100k_base plutôt qu’une conversion caractères/tokens. Chaque ID et chaque octet UTF-8 appartiennent au vocabulaire sélectionné.
Comptage indépendant en série
Jusqu’à 100 chaînes JSON sont comptées séparément. L’écran révèle 50 éléments à la fois, tandis que le fichier JSON contient les valeurs et IDs de toute la série.
Texte commun réencodé
Un préfixe et un suffixe sont joints à chaque entrée avant le calcul. Le nombre du texte brut, celui du texte assemblé et leur différence sont affichés séparément.
Capacité choisie par vous
Saisissez la fenêtre de contexte et la réserve de sortie. Le surcoût de formatage reste votre estimation ; aucune limite de modèle ni aucun tarif ne sont ajoutés en cachette.
Portée réelle de ces résultats
- Texte du seul encodage choisi
- Ce compteur de tokens implémente o200k_base et cl100k_base. Il ne fournit pas le nombre exact de Claude, Gemini ou Llama, qui emploient d’autres tokeniseurs.
- La requête API complète est plus large
- Rôles, schémas d’outils, images et fichiers ne sont pas mesurés. Le surcoût par élément est une estimation saisie, pas un relevé des tokens de formatage de l’API.
- Une fenêtre initiale n’est pas une promesse
- Les 128 000 tokens de contexte et les 4 096 réservés à la sortie sont des valeurs modifiables. Une marge positive ne garantit pas qu’un modèle acceptera la requête complète.
- Travail local borné
- Un texte est limité à 200 000 caractères ; un tableau JSON à 500 000 caractères et 100 chaînes. Les éléments non textuels sont rejetés avec leur indice. Aucun fichier ni prix API n’est traité.
Questions sur le compteur de tokens
Pourquoi le même texte donne-t-il un nombre de tokens différent selon le modèle ?
Les vocabulaires et les règles de fusion changent. Comparez le même texte avec o200k_base et cl100k_base pour voir la différence entre ces deux encodages.
Un token correspond-il vraiment à quatre caractères ?
Non. C’est un ordre de grandeur pour la prose anglaise. Mesurez le texte réel, surtout pour le code, les espaces et les autres écritures.
Le comptage appelle-t-il l'API OpenAI ?
Non. Le vocabulaire statique est chargé dans le navigateur et le texte est traité localement, sans appel à une API de comptage.
Pourquoi le nombre de tokens est-il important ?
Il aide à prévoir l’espace nécessaire pour une entrée et une sortie. L’usage total d’une requête API reste distinct de cette mesure de texte.
Ce résultat convient-il à Claude ou Gemini ?
Pas comme mesure exacte. Ces fournisseurs disposent d’autres tokeniseurs ; utilisez leur compteur pour la requête visée.
Pourquoi le total diffère-t-il de l'utilisation indiquée par l'API ?
L’API peut compter les rôles, instructions système, outils, pièces jointes et sortie. Cette page ne mesure que le texte et votre surcoût déclaré.
Résultat surprenant ?
Essayer le compteur de tokens sur un prompt
Collez un texte représentatif ou un tableau JSON, regardez les identifiants, puis indiquez la capacité pertinente pour votre propre requête.