Desenvolvimento de IA / LLM
Escolha uma codificação implementada, confira os IDs e informe o limite de contexto que você quer testar.
O texto fica neste navegador. O vocabulário pode ser baixado uma vez; nenhum prompt é enviado à API de um modelo.
Digite um texto para contar.
Digite um texto para contar.
Um prompt que parece curto pode virar muitos tokens quando mistura código, pontuação e idiomas. O contador de tokens mostra os IDs reais da codificação escolhida, sem estimar por quantidade de caracteres.
No modo em lote, cada string do array JSON é uma solicitação separada. O contador de tokens soma o trabalho total, mas compara a janela de contexto com cada item individualmente.
O contador de tokens lista cada ID criado pelo vocabulário BPE escolhido. Espaço no início, quebra de linha e escrita não latina podem alterar a divisão. Os limites de bytes continuam visíveis quando um caractere Unicode ocupa mais de um ID.
Um lote não compartilha uma única janela de contexto. O contador de tokens recodifica cada item com o prefixo e o sufixo comuns, aplica sua reserva de saída e o custo extra estimado, e mostra a margem por chamada. A soma do lote indica trabalho acumulado.
o200k_base vem selecionado. Troque para cl100k_base se esse for o vocabulário necessário. Os IDs dos tokens valem apenas para a codificação escolhida, sem inferir o tokenizador a partir de qualquer nome de modelo.
O modo em lote recebe um array JSON de strings. Uma quebra de linha dentro de uma string não vira outra chamada. A contagem automática espera 350 ms; no modo manual, use Ctrl/Cmd+Enter.
Prefixo e sufixo são recodificados com cada prompt. Uma fusão BPE na fronteira pode tornar a diferença negativa. Informe janela, saída reservada e custo extra; resultados antigos não podem ser exportados.
Em vez de dividir caracteres por quatro, o tokenizador online usa o200k_base ou cl100k_base. Cada ID e byte UTF-8 pertence à codificação selecionada.
Conte até 100 strings JSON, incluindo prompts com várias linhas. A tela mostra mais 50 itens por vez; o JSON baixado inclui todos os itens e seus IDs.
Um prefixo e um sufixo compartilhados são anexados antes da contagem. O painel separa tokens do original, do texto combinado e a diferença, pois somar contagens isoladas pode errar.
Informe a janela de contexto e a reserva de saída. O custo de embalagem é uma estimativa sua; nenhum limite de modelo ou preço é aplicado automaticamente.
Os vocabulários e as regras de fusão mudam. Compare o mesmo texto em o200k_base e cl100k_base para observar a diferença dessas duas codificações.
Não. É apenas uma média grosseira para prosa em inglês. Código, espaços e outras escritas precisam ser contados a partir do texto real.
Não. O vocabulário estático é carregado no navegador e o prompt é processado ali, sem chamada a uma API de modelo.
A contagem ajuda a reservar espaço para entrada e resposta dentro do contexto. O uso de uma chamada API completa pode incluir outros componentes.
Não como número exato. Esses provedores usam tokenizadores diferentes; consulte a ferramenta de contagem do serviço escolhido.
A API pode somar marcações de mensagens, texto de sistema, ferramentas, anexos e saída gerada. Aqui entram só o texto e o custo extra declarado por você.
Resultado inesperado?
Cole um texto representativo ou um array JSON, veja os IDs e informe a capacidade planejada para a sua chamada.