01
Konkrete Kodierung auswählen
o200k_base ist voreingestellt. Wechseln Sie zu cl100k_base, falls dieses Vokabular gebraucht wird. Token IDs gehören zur gewählten Kodierung; ein beliebiger Modellname reicht für die Zuordnung nicht aus.
KI- und LLM-Entwicklung
TokenzählerJede Teilung nachvollziehen
Wählen Sie eine implementierte Kodierung und prüfen Sie IDs. Kontextgrenze und Zuschlag geben Sie selbst ein.
Tokenzähler
Text oder JSON-Array aus Zeichenketten
Text bleibt in diesem Browser. Vokabulardaten können einmal geladen werden; Prompts gehen nicht an eine Modell-API.
Zählung und Budget
0
Text zum Zählen eingeben.
Budget und Vorlage
Text zum Zählen eingeben.
Ein kurzer Prompt mit Code, Satzzeichen oder mehreren Sprachen kann überraschend viele Tokens ergeben. Der Tokenzähler zeigt die tatsächlichen IDs statt einer Schätzung aus der Zeichenzahl.
Bei mehreren Prompts bleibt jedes Element eines JSON-Arrays eine eigene Anfrage. Der Tokenzähler summiert den Arbeitsumfang, vergleicht die Kontextgrenze aber mit jedem Element einzeln.
Warum diesen Tokenzähler verwenden?
Echte Grenzen zwischen Tokens sehen
Der Tokenzähler nutzt das ausgewählte BPE-Vokabular und zeigt jede ID. Ein führendes Leerzeichen, ein Zeilenumbruch oder ein nichtlateinisches Zeichen kann anders zerfallen als erwartet. Bytegrenzen bleiben erhalten, auch wenn ein Unicode-Zeichen mehrere IDs benötigt.
Jede Anfrage getrennt planen
Ein Stapel ist kein einziges Kontextfenster. Der Tokenzähler kodiert jedes Element zusammen mit gemeinsamem Präfix und Suffix neu und zieht Ihre Ausgabereserve sowie den geschätzten Zuschlag ab. Die Stapelsumme beschreibt Arbeit, nicht eine Anfrage.
Zählwerte richtig einordnen
02
Mehrzeilige Prompts zusammenhalten
Der Stapel erwartet ein JSON-Array mit Zeichenketten. Ein Zeilenumbruch innerhalb eines Elements bleibt dort. Nach Änderungen zählt das Werkzeug nach 350 ms automatisch; im Handmodus startet Strg/Cmd+Eingabe.
03
Vorlage und Reserve trennen
Präfix und Suffix werden mit jedem Text als Ganzes neu kodiert. BPE kann an der Grenze zusammenführen, daher ist die Differenz manchmal negativ. Geben Sie Kontextfenster, Ausgabereserve und Zuschlag selbst an; alte Ergebnisse sind nicht exportierbar.
Segmente und Promptstapel untersuchen
Zwei echte BPE-Vokabulare
Statt Zeichen durch vier zu teilen, können Sie o200k_base oder cl100k_base einsetzen. Ein Tokenizer online sollte angeben, welche IDs und UTF-8-Bytes tatsächlich gezeigt werden.
Getrennte Stapelzählung
Bis zu 100 JSON-Zeichenketten werden unabhängig gezählt. Die Oberfläche zeigt jeweils 50 Elemente zusätzlich; der JSON-Export enthält trotzdem jede ID und jedes Element.
Vorlage wird neu kodiert
Ein gemeinsamer Präfix und Suffix wird pro Prompt angefügt. Die Anzeige trennt Ursprung, kombinierten Text und Differenz, statt Tokenzahlen einzelner Textstücke einfach zu addieren.
Eigene Kontextgrenze
Sie tragen Fenstergröße und Ausgabereserve ein. Der zusätzliche Verpackungsaufwand bleibt ausdrücklich Ihre Schätzung; Modellgrenzen und Preise werden nicht automatisch behauptet.
Geltungsbereich und Grenzen der Zählung
- Nur die gewählte Textkodierung
- Dieser Tokenzähler implementiert o200k_base und cl100k_base. Für Claude, Gemini oder Llama sind dies keine exakten Zahlen, weil andere Tokenizer eingesetzt werden.
- API-Anfragen können mehr enthalten
- Rollenmarkierungen, Toolschemas, Bilder und Dateien fehlen in der reinen Textmessung. Der Zuschlag je Element ist ein eingegebener Schätzwert, keine gemessene API-Verpackung.
- Fensterwert ist keine Modellzusage
- 128.000 Kontext-Tokens und 4.096 reservierte Ausgabe-Tokens sind bearbeitbare Startwerte. Eine positive Restmenge garantiert nicht, dass die tatsächliche API die Anfrage annimmt.
- Begrenzter lokaler Umfang
- Einzeltext ist auf 200.000 Zeichen begrenzt, Stapel-JSON auf 500.000 Zeichen und 100 Zeichenketten. Falsche Elementtypen werden mit Index abgewiesen; Dateiimport und Preisrechnung gibt es nicht.
Häufige Fragen zum Tokenzähler
Warum liefert derselbe Text je nach Modell eine andere Tokenzahl?
Vokabulare und Zusammenführungsregeln unterscheiden sich. Hier können Sie o200k_base und cl100k_base für denselben Text vergleichen.
Entspricht ein Token immer vier Zeichen?
Nein. Vier Zeichen sind nur ein grober Mittelwert für englische Prosa. Code, Leerzeichen und andere Schriften müssen am echten Text gezählt werden.
Ruft der Tokenzähler zum Zählen die OpenAI API auf?
Nein. Nach dem Laden statischer Vokabulardaten läuft die Berechnung im Browser; der Prompt wird nicht an die Modell-API gesendet.
Warum ist die Tokenzahl für das Kontextfenster wichtig?
Damit Sie pro Anfrage Platz für Eingabe und Ausgabe prüfen können. Das tatsächliche Modellfenster geben Sie selbst ein und kontrollieren es beim Anbieter.
Funktioniert diese Zählung auch für Claude oder Gemini?
Nicht als exakte Zahl. Diese Anbieter verwenden andere Tokenizer; nutzen Sie deren Zählfunktion für vollständige Anfragen.
Warum weicht das Ergebnis von der API-Nutzung ab?
Die API kann Rollen, Systemtext, Tools, Anhänge und erzeugte Ausgabe mitzählen. Hier stehen nur der eingegebene Text und Ihr selbst geschätzter Zuschlag.
Unerwartetes Ergebnis?
Tokenzähler mit einem echten Prompt testen
Fügen Sie einen repräsentativen Text oder ein JSON-Array ein, prüfen Sie die IDs und tragen Sie die für Ihre Anfrage passenden Kapazitätswerte ein.