01
Сначала прочитать единицу
Символьный и Markdown-режимы считают графемы Unicode, а токенный режим суммирует оценочные веса. Размер и перекрытие выражены в одной единице.
AI / LLM Dev Tools
Разбиение текста на чанки
Проверьте границы чанков и общий фрагмент исходного текста.
разбиение текста на чанки
Вставьте текст или откройте пример.
Данные остаются в браузере. Загрузка на сервер и отправка в запросах не выполняются.
Фиксированные окна сохраняют составные символы, но могут разрезать предложение.
Вставьте текст или откройте пример.
Разбиение текста на чанки полезно, когда важное предложение оказывается на границе двух фрагментов перед индексацией. Вставьте реальный документ и посмотрите на разрезы.
Чанкинг текста зависит от размера фрагмента и перекрытия чанков. Этот текстовый сплиттер показывает границы Markdown и экспортирует интервалы в JSONL, но не оценивает качество поиска.
Зачем нужно разбиение текста на чанки
Повторяемый текст видно в привязке к оригиналу.
Найти каждый разрез в источнике
Разбиение текста на чанки сохраняет начальное и конечное смещения UTF-16 и выделяет участок, общий для двух соседних фрагментов.
Не смешивать темы Markdown
Новый заголовок начинает раздел без хвоста предыдущей темы. Слишком длинный раздел дополнительно делится по абзацам, строкам и графемам.
Проверить единицы и реальные границы
Три важных свойства, которые не видны из одного числа.
02
Посмотреть общий участок
Выберите соседние чанки и сравните полуоткрытые диапазоны в исходнике. На границе заголовков Markdown перекрытие обнуляется.
03
Выгружать только свежий результат
Автоматический расчет ждет 350 мс после ввода. В ручном режиме работает Ctrl/Cmd+Enter; устаревший JSONL нельзя копировать или скачать.
Три стратегии и проверяемый JSONL
Каждый чанк можно сопоставить с исходным документом.
Окна без разрыва графем
Составные эмодзи и буквы с комбинируемыми знаками остаются целыми, хотя предложение может оборваться посередине.
Открытая оценка токенов
Вес зависит от письменности и символов. Число не выдается за точный результат токенизатора какой-либо модели.
Полный экспорт диапазонов
В каждой строке JSONL есть текст, начало, конец, число графем, оценка токенов и фактический общий интервал.
Что эта схема не обещает
Границы относятся к этому инструменту, а не к модели эмбеддингов.
- Токены здесь оценочные
- Для жесткого лимита модели пересчитайте текст ее собственным токенизатором; смешанный текст может дать другую величину.
- Markdown не равен семантике
- Разделы начинаются только с ATX-заголовков вне блока кода. Длинная таблица или код могут быть разрезаны при достижении лимита.
- Перекрытие меньше размера
- Ошибочное значение не урезается молча. Между разделами с разными заголовками старый текст не повторяется.
- Без частичного экспорта
- Свыше 100000 единиц UTF-16 или 2000 чанков разбиение текста на чанки завершается ошибкой; неполный JSONL не создается.
Вопросы о разбиении текста на чанки
Ответы по фактическим границам и ограничениям.
Зачем в RAG режут документы на чанки, а не векторизуют целиком?
Небольшой фрагмент проще найти по конкретному вопросу. Здесь можно подготовить такие фрагменты, но эмбеддинги и поиск не запускаются.
Что такое overlap при чанкинге?
Это повтор исходного участка в соседних чанках. Инструмент показывает точный общий диапазон, а не только заданный максимум.
Чем плох слишком крупный размер чанка?
Он может смешать темы и занять лишний контекст. Сравните меньшие размеры на своих документах и известных вопросах.
Какой размер фрагмента выбрать для RAG?
Универсального значения нет. Начните с настроек по умолчанию и проверьте границы и реальные результаты поиска.
Зачем нужно перекрытие фрагментов?
Оно сохраняет часть контекста на стыке. Однако лишние копии увеличивают объем индекса, поэтому число нужно проверять на практике.
Не хватает нужного случая?
Попробовать разбиение текста на чанки на своем документе
Вставьте настоящий отрывок, меняйте настройки по одной и сохраните проверенные диапазоны в полном JSONL.