01
Leer la unidad de ambos campos
Caracteres y Markdown usan grafemas Unicode; tokens estimados usan una fórmula ponderada. Tamaño y solapamiento siempre comparten unidad.
AI / LLM Dev Tools
Fragmentador de texto
Comprueba cada corte, su rango de origen y el texto que se repite.
fragmentador de texto
Pega texto o carga el ejemplo.
La entrada permanece en este navegador. No se sube ni se envía en solicitudes.
La ventana fija conserva grafemas compuestos, pero puede cortar una frase.
Pega texto o carga el ejemplo.
Un fragmentador de texto permite ver si una respuesta quedó partida entre dos pasajes antes de crear un índice RAG. Pega un documento real y revisa sus límites.
Esta fragmentación RAG ofrece división por tokens estimados y títulos Markdown. El solapamiento de chunks se muestra como texto compartido; el divisor de texto exporta las posiciones de cada fragmento en JSONL.
Por qué usar este fragmentador de texto
Inspecciona el texto repetido, no solo su porcentaje.
Volver al pasaje exacto
El fragmentador de texto guarda los offsets UTF-16 de inicio y fin, y destaca el tramo compartido por dos fragmentos vecinos.
Separar temas por encabezado
Un título Markdown inicia otra sección sin arrastrar texto del tema anterior. Las secciones largas vuelven a párrafos, líneas y grafemas.
Unidades, cortes y exportación
Tres cosas que conviene verificar en el resultado.
02
Ver el tramo común
Selecciona fragmentos vecinos para comprobar sus rangos semiabiertos y el texto resaltado. Un nuevo título Markdown reinicia el solapamiento.
03
Esperar el resultado actualizado
El modo automático espera 350 ms tras editar. En modo manual usa Ctrl/Cmd+Enter; mientras el resultado esté obsoleto, copiar y descargar quedan desactivados.
Tres estrategias con rangos verificables
Cada fragmento conserva su relación con la fuente.
Ventanas que respetan grafemas
Un emoji compuesto o una letra con marca combinada no se corta por la mitad, aunque una frase sí puede quedar dividida.
Estimación de tokens explícita
La ponderación varía por escritura y símbolos; no se presenta como el tokenizador exacto de ningún modelo.
JSONL de todos los fragmentos
Cada línea incluye texto, inicio, fin, caracteres, tokens estimados y el intervalo real compartido con el fragmento anterior.
Los límites reales de esta división
El resultado no mide por sí solo la calidad de recuperación.
- Tokens estimados, no exactos
- Comprueba los límites estrictos con el tokenizador del modelo que usarás; el cálculo puede variar bastante.
- Markdown no implica semántica
- Solo los títulos ATX fuera de bloques de código crean secciones. Una tabla o bloque muy largo todavía puede partirse.
- Solapamiento menor que tamaño
- El fragmentador de texto rechaza valores inválidos sin recortarlos en silencio; no solapa dos secciones con títulos distintos.
- Sin exportación parcial
- Más de 100000 unidades UTF-16 o de 2000 fragmentos detienen la operación. No se crea un JSONL incompleto ni embeddings.
Preguntas sobre el fragmentador de texto
Respuestas basadas en lo que muestra la herramienta.
¿Cuál es el tamaño ideal de fragmento?
No existe uno universal. Usa el valor inicial como referencia y contrasta varios tamaños con preguntas reales sobre tus documentos.
¿Qué pasa si los fragmentos son muy pequeños?
Pueden perder el contexto necesario para responder. Revisa los cortes y prueba una ventana mayor o algo de solapamiento.
¿Qué pasa si son muy grandes?
Pueden mezclar temas y ocupar más contexto del necesario. Compara rangos más pequeños y revisa si cada fragmento sigue teniendo sentido.
¿Qué tamaño de chunk debo usar para RAG?
Depende de tu corpus, las preguntas y el modelo. El fragmentador de texto permite comparar límites, pero no calcula la mejor recuperación.
¿Qué es el solapamiento de chunks y por qué importa?
Es el texto compartido por dos fragmentos consecutivos. Aquí puedes ver el intervalo exacto; en un nuevo título Markdown puede ser cero.
¿Falta algún caso?
Probar el fragmentador de texto con tu documento
Pega un pasaje real, ajusta los parámetros y guarda todos los cortes comprobados en JSONL.