01
Conferir a unidade
Caracteres e Markdown contam grafemas Unicode; tokens estimados somam pesos por caractere. Tamanho e sobreposição usam a mesma unidade em cada modo.
AI / LLM Dev Tools
Text chunker com sobreposição
Confira onde cada chunk começa e qual trecho aparece no vizinho.
text chunker com sobreposição
Cole texto ou carregue o exemplo.
A entrada fica neste navegador. Não há upload nem envio em solicitações.
Janelas fixas preservam grafemas compostos, mas podem cortar frases.
Cole texto ou carregue o exemplo.
Um text chunker com sobreposição ajuda a enxergar quando uma resposta ficou cortada entre dois blocos antes da indexação. Cole um trecho real e confira as fronteiras.
No chunking para RAG, dividir texto em chunks exige testar o tamanho do chunk e a fragmentação de documentos em cada tarefa. Esta página mostra os intervalos de origem e exporta JSONL completo.
Por que usar este text chunker com sobreposição
O trecho repetido aparece no contexto da fonte.
Voltar ao ponto exato no documento
O text chunker com sobreposição registra início e fim UTF-16 de cada chunk e destaca a parte realmente compartilhada com o bloco anterior.
Manter assuntos separados no Markdown
Um novo título inicia seção sem repetir o fim do assunto anterior. Se a seção for longa, o corte recua para parágrafos, linhas e grafemas.
Unidade, fronteira e resultado atualizado
Três verificações antes de levar os chunks ao pipeline.
02
Ler a área compartilhada
Selecione chunks vizinhos para ver os intervalos semiabertos da fonte e a parte repetida. Em títulos Markdown, a repetição entre seções é zero.
03
Exportar só após atualizar
A divisão automática espera 350 ms depois da edição. No modo manual, Ctrl/Cmd+Enter executa; resultado antigo não pode ser copiado nem baixado.
Três formas de dividir e um JSONL rastreável
Cada linha do resultado mantém referência ao original.
Janelas que preservam grafemas
Emoji composto e letra combinada não são cortados pela metade, embora uma frase possa terminar no meio.
Estimativa de token transparente
Pesos diferentes para escritas e símbolos dão uma aproximação; não simulam o tokenizador real de nenhum modelo.
Exportação de todos os chunks
O JSONL registra texto, início, fim, contagem de grafemas, tokens estimados e intervalo exato de sobreposição.
Onde termina a garantia da prévia
Os cortes não provam qualidade de busca nem limite de modelo.
- Token estimado não é token exato
- Antes de aplicar um limite rígido, conte novamente com o tokenizador do modelo de destino.
- Markdown não é divisão semântica
- Somente títulos ATX fora de cercas de código abrem seções. Blocos ou tabelas muito longos ainda podem ser cortados.
- Sobreposição menor que o tamanho
- Um valor inválido gera erro em vez de ser reduzido silenciosamente; seções com títulos diferentes não compartilham texto.
- Sem arquivo parcial
- Acima de 100000 unidades UTF-16 ou 2000 chunks, o text chunker com sobreposição não exporta JSONL incompleto nem cria embeddings.
Dúvidas sobre o text chunker com sobreposição
Respostas ligadas ao comportamento desta página.
Qual é o melhor tamanho de fragmento para RAG?
Não há tamanho universal. Comece pelo padrão e compare configurações usando documentos e perguntas reais do seu projeto.
Os fragmentos devem se sobrepor?
Às vezes ajuda a preservar contexto na fronteira, mas também duplica dados. Confira o trecho repetido antes de decidir.
O que é fragmentação semântica?
É uma estratégia que tenta seguir mudanças de assunto. Esta ferramenta usa janelas determinísticas e títulos Markdown, sem embeddings semânticos.
Como você avalia a fragmentação?
Inspecione os limites aqui e depois meça recuperação com perguntas de resposta conhecida. A prévia não calcula recall.
Qual o tamanho ideal de chunk?
Depende do conteúdo e da pergunta. O text chunker com sobreposição permite comparar cortes, mas não oferece um número ideal para todo RAG.
Encontrou um caso não coberto?
Testar o text chunker com sobreposição no seu texto
Cole um trecho real, altere uma configuração por vez e salve os limites verificados em JSONL.