01
Identifier l’unité
Les modes caractère et Markdown comptent les graphèmes Unicode ; le mode jeton additionne des poids estimatifs. Taille et chevauchement utilisent la même unité.
AI / LLM Dev Tools
Découpage de texte RAG
Vérifiez où chaque bloc commence et ce qu’il partage avec le précédent.
découpage de texte RAG
Collez du texte ou chargez l’exemple.
Le contenu reste dans ce navigateur. Aucun envoi ni requête de données.
Une fenêtre fixe préserve les caractères composés mais peut couper une phrase.
Collez du texte ou chargez l’exemple.
Le découpage de texte RAG aide à repérer une phrase perdue entre deux passages avant d’indexer un document. Collez un extrait réel et lisez les frontières plutôt que de choisir une taille au hasard.
Cet aperçu du découpage en chunks relie la taille des chunks et le chevauchement des chunks à leurs positions d’origine. La segmentation de texte Markdown respecte les titres et l’export JSONL conserve les décalages.
Pourquoi utiliser ce découpage de texte RAG
Le texte répété reste visible et traçable.
Retrouver chaque coupure dans la source
Le découpage de texte RAG conserve les décalages UTF-16 de chaque bloc et met en évidence la portion réellement commune aux deux voisins.
Isoler les thèmes Markdown
Un titre lance un nouveau bloc sans reprendre la fin du chapitre précédent. Les sections trop longues se replient sur des paragraphes puis des lignes.
Lire les unités puis les frontières
Trois vérifications utiles avant l’export.
02
Comparer deux blocs voisins
Sélectionnez un bloc pour afficher ses bornes de source semi-ouvertes et le texte commun. Un nouveau titre Markdown remet ce partage à zéro.
03
Attendre un résultat à jour
Le calcul automatique attend 350 ms après la saisie. En mode manuel, Ctrl/Cmd+Entrée relance le découpage ; un résultat périmé ne peut pas être copié.
Trois méthodes et des données vérifiables
Les blocs gardent un lien précis avec le texte initial.
Fenêtres de graphèmes
Un emoji composé ou une lettre combinée reste entier, même si une fenêtre fixe peut couper une phrase.
Estimation transparente des jetons
La formule pondère les écritures et les symboles, sans se faire passer pour le tokenizer d’un modèle précis.
Export JSONL complet
Chaque ligne contient le texte, les bornes, le nombre de caractères, les jetons estimés et les bornes du chevauchement réel.
Ce que les frontières ne prouvent pas
Le résultat décrit ce séparateur, pas la qualité d’une recherche.
- Jetons non exacts
- Utilisez le tokenizer du modèle cible pour toute limite stricte ; cette estimation peut diverger fortement sur du code ou du texte mixte.
- Markdown sans analyse sémantique
- Seuls les titres ATX hors des blocs de code délimitent les sections. Un très long tableau ou bloc de code peut encore être coupé.
- Chevauchement inférieur à la taille
- Une valeur invalide est refusée plutôt que corrigée en silence ; deux sections distinctes ne se chevauchent pas.
- Pas de fichier partiel
- Au-delà de 100000 unités UTF-16 ou de 2000 blocs, aucun JSONL incomplet n’est proposé et aucun embedding n’est créé.
Questions sur le découpage de texte RAG
Réponses liées à la coupure réellement affichée.
Comment le découpage sémantique améliore-t-il la précision des systèmes RAG ?
Il peut suivre les changements de sujet, mais ce site ne fait pas de découpage sémantique. Comparez les blocs produits ici à vos vraies questions de recherche.
Pouvez-vous expliquer le découpage récursif ?
Le mode Markdown commence par les titres et, si une section dépasse la taille, cherche des paragraphes puis des lignes avant de couper par graphèmes.
Quelle différence entre taille fixe et découpage sémantique ?
La taille fixe suit un budget déterministe et peut traverser une idée. Une méthode sémantique exige d’autres signaux ; ici seuls les titres Markdown structurent les sections.
Comment choisir la taille des chunks ? Existe-t-il une formule ?
Aucune formule universelle ne donne le meilleur réglage. Testez plusieurs tailles sur vos documents et questions connus.
Qu’est-ce que l’overlap et pourquoi l’utiliser ?
Il répète une partie de la fin du bloc précédent pour préserver le contexte près d’une frontière. Le découpage de texte RAG montre précisément la plage répétée.
Un cas n’est pas couvert ?
Essayer le découpage de texte RAG sur un document
Collez un passage réel, ajustez une valeur à la fois et conservez les plages vérifiées dans un JSONL complet.