01
先确认具体编码
默认使用 o200k_base；需要旧词表时切到 cl100k_base。GPT 分词器的 ID 只对应当前选中的编码，不能靠模型品牌名推断所有版本。
AI / LLM 开发工具
Token 计数器看清每一段分词
选定实际编码后查看 Token ID；模板和容量由你填写，结果逐项说明。
Token 计数器
文本或 JSON 字符串数组
文本只在浏览器内处理。词表可能首次下载，不会向模型 API 发送提示词。
计数与预算
0
输入文本后即可计数。
预算与模板选项
输入文本后即可计数。
一段提示词看起来不长，混入代码、标点和中文后却可能占用不少 Token。Token 计数器显示真实词表产生的 ID，不用字符数除以四来猜。
批量评估时，每个 JSON 字符串代表一条独立提示词。Token 计数器把总量当作工作量，窗口余量则逐条计算，避免把整批误认为一次请求。
为什么使用 Token 计数器？
看见真正的分词边界
Token 计数器按所选 BPE 词表给出每个 Token ID。前导空格、换行和中文可能改变切分；即使一个 Unicode 字符跨多个 ID，字节边界仍可核对。
逐条检查请求容量
批量提示词不是同一个上下文窗口。Token 计数器把共用前后缀与每项一起重编码，再减去自行填写的输出预留和包装估值；批量合计只表示总工作量。
读懂数字后再提交请求
02
保留批量条目的边界
批量模式接收 JSON 字符串数组，字符串中的换行不会被拆成另一项。输入停止 350 毫秒后自动更新；关闭自动计数可按 Ctrl/Cmd+Enter 手动运行。
03
分开看模板和预算
前后缀与原文拼接后重新编码，模板差值可能因为 BPE 跨边界合并而为负。自行输入窗口、输出预留与其他开销；旧结果不可复制或下载。
检查片段并规划批量提示词
真实文本词表
两个已实现的 OpenAI BPE 编码给出逐 Token ID 和 UTF-8 字节，而不是按字符估算。Token 数计算因此只对明确选择的词表成立。
完整批量统计
最多接收 100 个 JSON 字符串；多行提示词仍是单项。屏幕每次多显示 50 项，导出的分析则包含所有条目和 ID。
模板重新编码
共用前缀和后缀会与每条原文拼接后计数，分别展示原文 Token、拼接后文本和差值，避免把三段简单相加。
自填容量
上下文窗口估算按每项计算，并加上你填写的包装开销。页面不暗设模型容量或价格。
这些数字覆盖到哪里
- 只计所选词表的纯文本
- Token 计数器实现 o200k_base 与 cl100k_base，不声称 Claude、Gemini 或 Llama 的精确 Token 数。切换编码后 ID 也会变化。
- 完整 API 请求另有开销
- 角色边界、工具定义、图像和文件不在本页的纯文本计数内。“每项其他开销”是用户估值，不是 API 实测包装 Token；重要请求应使用提供方的完整请求计数。
- 窗口数值不是模型资料
- 默认的 128,000 窗口与 4,096 输出预留只是可编辑示例。余量为负说明自填预算超出；余量为正也不能保证 API 接受该请求。
- 本地处理有上限
- 单段文本最多 200,000 字符；批量 JSON 最多 500,000 字符和 100 个字符串。非字符串会报条目位置，不会悄悄丢弃；不支持文件上传和价格预测。
Token 计数器常见问题
同一段文字为什么在不同模型下 Token 数不一样？
不同词表的合并规则不同。同一段文字切换 o200k_base 与 cl100k_base 后，Token 数和 ID 都可能改变。
1 个 Token 真的约等于 4 个字符吗？
不是。四字符只是英文散文的粗略平均，代码、空格和中日韩文字会明显偏离。应直接计算实际输入。
这个工具会调用 OpenAI API 来计算 Token 吗？
不会。本页在浏览器内运行分词器；下载静态词表与把提示词发给模型 API 是两回事。
Token 数为什么重要？
Token 决定输入是否可能装进上下文，也常是费用单位。本页可看逐项余量，但输出和完整请求仍须单独核对。
这个工具适用于 Claude 或 Gemini 吗？
不能当作精确值。那些服务使用不同分词器，应到各自的计数接口核对。
为什么这里的计数与 API 用量不同？
API 可能还计入消息包装、系统内容、工具定义、附件和输出。本页只计输入文本与用户明确填写的其他开销估值。
结果有疑问？