Протоколы и ИИ

Инструменты для AI и LLM

Работа с API LLM — это разбор форматов на стыке вашего кода и модели: схема структурированного вывода, которую отклоняют из-за неподдерживаемого ограничения, потоковый ответ, который нужно разобрать как server-sent events, файл JSONL для обучения или оценки, где одна повреждённая строка ломает чтение целиком, или число токенов, которое нужно узнать до упора в лимит контекста. Эти инструменты работают прямо с такими форматами, без обращения к живому API.

Схема структурированного вывода: проверка сверяет схему с конкретными ограничениями перед отправкой запроса, а разбор потока событий SSE показывает, какие блоки потока реально доставляются, а какие нет. Просмотр JSONL находит точную строку, из-за которой не разбирается файл, вместо провала всего чтения. Для конвейеров RAG разбиение текста на чанки делит текст по числу символов, оценке токенов или заголовкам, счётчик токенов считает по стандартным кодировкам моделей, а калькулятор сходства векторов сравнивает векторы по косинусному сходству и евклидову расстоянию.

7 инструментов

Все инструменты категории «AI / LLM Dev Tools»

Вопросы об инструментах категории «AI / LLM Dev Tools»

Почему модель отклоняет мою схему структурированного вывода?

Разные модели поддерживают лишь часть возможностей JSON Schema с ограничениями, которые отличаются между собой, так что схема, валидная для одной, может быть отклонена другой из-за неподдерживаемого ключевого слова или глубины вложенности. Схема структурированного вывода: проверка сверяет схему с такими ограничениями перед отправкой запроса.

Сколько токенов займёт промпт перед отправкой в LLM?

Число токенов зависит от токенизатора, и разные стандартные кодировки разбивают текст по-разному, поэтому один и тот же промпт стоит разное число токенов в зависимости от семейства модели. Счётчик токенов считает по стандартным кодировкам с разбором на уровне отдельных токенов, чтобы было видно, где именно проходит граница.

Какой размер чанка лучше всего подходит для RAG?

Единого правильного размера нет: он зависит от окна контекста модели эмбеддингов и от того, сколько окружающего контекста нужно каждому найденному чанку, чтобы оставаться полезным. Разбиение текста на чанки делит текст по числу символов, оценке токенов или заголовкам, чтобы сравнить стратегии напрямую.