01
Einheit vor dem Split prüfen
Zeichen- und Markdown-Modus zählen Unicode-Grapheme, der Token-Modus berechnet gewichtete Schätzwerte. Größe und Überlappung haben je Modus dieselbe Einheit.
AI / LLM Dev Tools
Text-Chunker
Sehen Sie Schnittstellen und echte Überschneidungen direkt am Quelltext.
Text-Chunker
Text einfügen oder Beispiel laden.
Die Eingabe bleibt im Browser. Kein Upload und keine Datenanfrage.
Feste Fenster erhalten zusammengesetzte Zeichen, können aber Sätze trennen.
Text einfügen oder Beispiel laden.
Ein Text-Chunker hilft, wenn eine wichtige Aussage an der Grenze zwischen zwei Suchpassagen zerfällt. Prüfen Sie einen echten Text, bevor Sie ihn indexieren.
Mit diesem Werkzeug lässt sich Text in Chunks aufteilen. Chunk-Größe und Chunk-Überlappung bleiben in derselben Einheit; Markdown-Chunking hält Überschriften getrennt und liefert nachvollziehbare JSONL-Daten.
Warum diesen Text-Chunker verwenden
Jede wiederholte Stelle lässt sich im Original überprüfen.
Schnittstellen im Original finden
Der Text-Chunker speichert UTF-16-Start und -Ende jedes Chunks und markiert den Bereich, den zwei Nachbarn tatsächlich gemeinsam enthalten.
Themen an Überschriften trennen
An einer Markdown-Überschrift beginnt ein neuer Abschnitt ohne Überlappung aus dem vorigen Thema. Lange Abschnitte werden weiter nach Absätzen und Zeilen zerlegt.
Einheiten und Grenzen richtig lesen
Drei Punkte, die ein Standardwert nicht erklären kann.
02
Tatsächliche Wiederholung ansehen
Wählen Sie benachbarte Chunks und vergleichen Sie ihre halboffenen Quellbereiche. Eine neue Markdown-Überschrift setzt die Überlappung auf null.
03
Erst frische Ergebnisse exportieren
Automatik wartet nach der Eingabe 350 ms. Manuell startet Strg/Cmd+Enter; geänderte Eingaben sperren Kopieren und Download bis zur nächsten Berechnung.
Fenster, Schätzung und vollständiger Export
Die Daten eignen sich für nachvollziehbare Indexierungsversuche.
Unicode-sichere Zeichenfenster
Ein zusammengesetztes Emoji oder ein Akzent wird nicht halbiert; ein festes Fenster kann dennoch mitten in einem Satz enden.
Offene Token-Heuristik
Gewichte für CJK, andere Schriften, lateinische Zeichen und Symbole liefern nur eine Schätzung, keine Modell-Tokenisierung.
JSONL mit Quellbezug
Jede Zeile enthält Text, Start, Ende, Graphemzahl, geschätzte Tokens und den tatsächlich gemeinsam genutzten Quellbereich.
Was diese Aufteilung nicht garantiert
Die Grenzen gelten für diesen Splitter, nicht für ein Embedding-Modell.
- Tokenwerte sind nur geschätzt
- Prüfen Sie harte Modellgrenzen mit dem zugehörigen Tokenizer; dieser Text-Chunker behauptet keine exakte Zählung.
- Markdown ist keine Bedeutungsanalyse
- Nur ATX-Überschriften außerhalb von Codezäunen bilden Abschnitte. Ein überlanger Abschnitt kann eine Tabelle oder einen Codeblock teilen.
- Überlappung kleiner als Größe
- Ungültige Werte werden gemeldet und nicht still gekürzt. Zwischen verschiedenen Überschriften wird kein alter Text übernommen.
- Keine unvollständigen Dateien
- Mehr als 100000 UTF-16-Einheiten oder 2000 Chunks stoppen den Export. Embeddings und Retrieval-Bewertungen entstehen hier nicht.
Häufige Fragen zum Text-Chunker
Antworten zu Größe, Überlappung und Datenquelle.
Wie groß sollte ein typischer Chunk sein?
Es gibt keine universelle Größe. Beginnen Sie bei 1000 Graphemen und vergleichen Sie andere Werte anhand Ihrer Dokumente und echter Suchfragen.
Warum ist Chunk-Überlappung wichtig?
Sie wiederholt Text an einer Grenze, damit Kontext nicht abrupt verloren geht. Der gemeinsam verwendete Quellbereich ist hier sichtbar.
Wie viel Overlap ist sinnvoll?
Das hängt vom Dokument ab. Zu viel Überlappung erzeugt mehr nahezu gleiche Einträge; testen Sie mehrere Werte mit Ihren Fragen.
Wie funktioniert Chunking in einem RAG-System?
Dokumente werden vor dem Embedding in abrufbare Passagen zerlegt. Dieses Werkzeug zeigt nur die Aufteilung, erzeugt aber weder Embeddings noch eine Vektorsuche.
Wie groß sollte ein Chunk sein?
Wählen Sie die Größe passend zur erwarteten Antwortlänge und Dokumentstruktur. Prüfen Sie die Schnittstellen; der Text-Chunker gibt keinen allgemeinen Optimalwert vor.
Fehlt ein Anwendungsfall?
Jetzt den Text-Chunker mit Ihrem Text testen
Fügen Sie eine echte Passage ein, ändern Sie die Parameter einzeln und speichern Sie alle geprüften Grenzen als JSONL.