01
モデル名より語彙を選ぶ
初期値はo200k_baseです。必要な語彙がcl100k_baseなら切り替えてください。トークンIDは選択した語彙に固有で、任意のモデル名から自動推定していません。
AI・LLM開発
トークンカウンター数字の内側まで見る
実装済みのエンコーディングを選び、IDと断片を確認。文脈上限は自分で入力します。
トークンカウンター
文章またはJSON文字列配列
文章はブラウザー内で処理します。語彙データは初回に取得する場合がありますが、文章をモデルAPIへ送りません。
計数と予算
0
文章を入力すると計数できます。
予算とテンプレート
文章を入力すると計数できます。
短く見えるプロンプトでも、コードや句読点、日本語を混ぜると分割数は大きく変わります。トークンカウンターは文字数から推測せず、実際の語彙が作るIDを示します。
複数の入力を試すなら、JSON文字列配列の各要素を別々の依頼として扱います。トークンカウンターの合計は作業量、文脈残量は一件ごとの値です。
トークンカウンターを使う理由
分割の境界を確かめる
トークンカウンターは選択したBPE語彙のIDを一つずつ表示します。先頭の空白、改行、日本語は見た目と異なる分割になりえます。一文字が複数IDにまたがっても、元のバイト境界を残します。
依頼ごとの余裕を見る
配列全体を一つの文脈上限と比較しません。トークンカウンターは各要素に共通の前文と後文を付けて再計数し、入力した出力予約と追加分を引いて一件ずつ残量を示します。
数字の意味を読み違えないために
02
改行を含む文章は一件のまま
一括モードはJSON文字列配列です。一つの文字列に含まれる改行は別の依頼に分けません。変更後350ミリ秒で自動更新し、手動ではCtrl/Cmd+Enterでも実行できます。
03
前後文と残量を別々に確認
前後文を含む全文を再符号化します。境界でBPEが結合すると差分は負にもなります。文脈上限と出力予約は自分で指定し、古い結果の書き出しは無効です。
断片と複数件の予算を確認
実装済みの二つの語彙
文字数からの概算ではなく、選択したBPE語彙で数えます。トークナイザーとしてo200k_baseとcl100k_baseを用意し、IDとUTF-8バイトを確認できます。トークン数カウントを文字数の推測で代用しません。
改行を壊さない一括計数
最大100個のJSON文字列を独立して計数します。画面は50件ずつ表示しますが、保存するJSONには全件の数値とIDが入ります。
共通文を付けて再計数
各文章の前後に共通テキストを付け、結合後の全文を符号化します。元の数、結合後の数、差分を分け、単純な足し算による誤差を避けます。
自分の容量値で判定
コンテキストウィンドウに相当する上限と出力予約を入力します。追加包装分は自己推定として明示し、料金やモデル上限を自動で決めません。
計数の対象と対象外
- 選択した純粋な文章だけ
- トークンカウンターが実装するのはo200k_baseとcl100k_baseです。Claude、Gemini、Llamaの正確な数として転用できません。
- API全体の請求数ではない
- ロール区切り、ツール定義、画像、ファイルは含みません。一件あたりの追加分は利用者の推定値であり、実際のAPI包装トークンを測った値ではありません。
- 初期の文脈値は例
- 128,000の上限と4,096の出力予約は編集できる出発値です。残量が正でもモデルが依頼を受け付ける保証はなく、実際の上限は別に確認してください。
- 処理量には制限がある
- 一件の文章は200,000文字、配列全体は500,000文字と100要素までです。文字列以外の要素は位置を示して拒否します。ファイル取り込みや料金予測は行いません。
トークンカウンターのよくある質問
なぜ同じテキストでもモデルによってトークン数が異なるのでしょうか？
語彙と結合規則が異なるためです。このページではo200k_baseとcl100k_baseを切り替えて比較できます。
1トークンは本当に4文字分くらいなのでしょうか？
いいえ。英語の散文に限った大まかな目安です。日本語、コード、空白や絵文字は実際の文章で数えてください。
トークン数の計算にOpenAI APIを呼び出しますか？
呼び出しません。語彙データをブラウザーへ読み込んだ後、文章は端末内で処理します。
トークンの数がなぜ重要なのでしょうか？
文脈に収まるか、入力にどの程度の余裕があるかを判断するためです。ただし実際のAPI全体のトークンとは別です。
ClaudeやGeminiでも同じ数字を使えますか？
正確な値としては使えません。各社の別のトークナイザーを使って確認してください。
APIの使用量と表示数が違うのはなぜですか？
メッセージの境界、システム文、ツール定義、添付や出力がAPI側に加わるためです。ここでは入力した純粋な文章と自己推定の追加分を示します。
結果が予想と違いますか？