01
Укажите конкретную кодировку
По умолчанию выбрана o200k_base. Если нужен другой реализованный словарь, переключитесь на cl100k_base. ID токенов относятся к выбранной кодировке, а не к любому похожему названию модели.
Инструменты ИИ / LLM
Счётчик токеновПроверьте каждую часть текста
Выберите реализованную кодировку, изучите ID и задайте собственный размер окна контекста.
Счётчик токенов
Текст или массив строк JSON
Текст остаётся в браузере. Данные словаря могут загрузиться один раз; запрос не отправляется в API модели.
Подсчёт и бюджет
0
Введите текст для подсчёта.
Бюджет и шаблон
Введите текст для подсчёта.
Короткий на вид запрос с кодом, знаками препинания или несколькими языками может разбиться на неожиданно много частей. Счётчик токенов показывает реальные ID выбранного словаря вместо оценки по числу символов.
Для пакета каждый элемент массива JSON считается отдельным запросом. Счётчик токенов суммирует общий объём работы, а остаток окна рассчитывает по каждому элементу.
Зачем нужен счётчик токенов?
Увидеть настоящие границы
Счётчик токенов выводит каждый ID выбранного словаря BPE. Пробел перед словом, перевод строки и кириллица могут менять разбиение. Границы байтов сохраняются даже там, где один символ Unicode занимает несколько ID.
Проверить каждый запрос отдельно
Пакет не использует одно общее окно контекста. Счётчик токенов заново кодирует каждый элемент с общими префиксом и суффиксом, затем учитывает резерв ответа и добавку, которую вы оценили сами. Сумма пакета показывает нагрузку, а не одну заявку.
Как правильно читать подсчёт
02
Не делите многострочный запрос
Режим пакета принимает массив строк JSON. Перевод строки внутри одного элемента остаётся в нём. Автоподсчёт ждёт 350 мс после правки; в ручном режиме можно нажать Ctrl/Cmd+Enter.
03
Разделяйте шаблон и резерв
Префикс и суффикс кодируются вместе с текстом. Из-за слияния BPE на границе разница бывает отрицательной. Введите размер окна, резерв ответа и известную добавку; устаревший результат нельзя экспортировать.
Изучайте фрагменты и пакеты запросов
Два настоящих словаря
Вместо деления числа символов на четыре доступен токенизатор онлайн с o200k_base и cl100k_base. Каждый ID и байт UTF-8 соответствует выбранному словарю.
Независимые элементы пакета
До 100 строк JSON считаются отдельно, включая запросы с переводами строк. На экране открывается по 50 элементов, но выгрузка JSON содержит все значения и ID.
Шаблон кодируется заново
Общие префикс и суффикс присоединяются к каждому тексту. Отдельно показаны токены источника, итогового текста и разница; простое сложение частей может ошибаться.
Ваше окно контекста
Вы задаёте размер окна и резерв ответа. Дополнительная упаковка остаётся вашей оценкой; сервис не подставляет тайком лимиты моделей или цены. Контекстное окно задаётся вашим числом.
Что входит в расчёт, а что нет
- Только выбранная кодировка текста
- Этот счётчик токенов реализует o200k_base и cl100k_base. Числа не объявляются точными для Claude, Gemini или Llama: там используются другие токенизаторы.
- Полный API-запрос шире
- Роли сообщений, схемы инструментов, изображения и файлы не входят в подсчёт чистого текста. Добавка на элемент вводится вами и не является измеренной упаковкой API.
- Начальное окно служит примером
- 128 000 токенов контекста и 4096 для ответа — редактируемые исходные значения. Положительный остаток не гарантирует, что API примет полный запрос.
- Ограниченный локальный объём
- Один текст ограничен 200 000 символами, пакет JSON — 500 000 символами и 100 строками. Элементы другого типа отклоняются с указанием индекса; загрузки файлов и расчёта цены нет.
Вопросы про счётчик токенов
Почему один и тот же текст даёт разное число токенов в разных моделях?
У словарей разные правила объединения. Сравните один текст в o200k_base и cl100k_base, чтобы увидеть разницу между двумя реализованными кодировками.
Всегда ли один токен равен четырём символам?
Нет. Это лишь грубый ориентир для английской прозы. Код, пробелы и кириллицу лучше измерять на реальном тексте.
Отправляет ли счётчик текст в API OpenAI?
Нет. Статический словарь загружается в браузер, а текст обрабатывается локально без обращения к API модели.
Почему число токенов важно для контекстного окна?
Чтобы оценить, поместятся ли ввод и ожидаемый ответ в заданный контекст. Реальные ограничения модели нужно проверить отдельно.
Подходит ли этот подсчёт для Claude или Gemini?
Не как точное число. У этих поставщиков иные токенизаторы; используйте их средство подсчёта для нужного запроса.
Почему результат отличается от расхода токенов в API?
API может учитывать границы сообщений, системный текст, инструменты, вложения и результат генерации. Здесь есть только введённый текст и ваша оценка добавки.
Неожиданный результат?
Проверьте реальный запрос: счётчик токенов
Вставьте типичный текст или массив JSON, изучите ID и укажите размер контекста для вашей настоящей заявки.