01
Выберите робота
По умолчанию указан Googlebot. Его отдельная группа не наследует правила User-agent: *. Вводите токен робота, а не полный HTTP-заголовок.
Управление обходом
проверка robots.txtСоставьте и проверьте один файл
Вставьте черновик robots.txt, укажите робота и путь. Сайт по сети не запрашивается.
проверка robots.txt
Результат для пути
Обход разрешён
- Выбранная группа
- *
- Решающее правило
- Allow: /private/public/ · Строка 3
Действует самое длинное совпадение; при равенстве побеждает Allow.
Строки Sitemap
- https://example.com/sitemap.xml · Строка 4
Правила остаются в этой вкладке. Запрос к сайту не отправляется.
Создание группы правил
Текущий черновик проверен.
После добавления широкого Disallow легко случайно закрыть важную страницу. Проверка robots.txt показывает конкретное правило и номер строки, определившие доступ к выбранному пути.
Генератор robots.txt добавляет группу только после просмотра текста. Анализ robots.txt и проверка URL в robots.txt выполняются над тем же содержимым, которое затем можно скачать; Sitemap не влияет на решение Allow или Disallow.
Зачем нужна проверка robots.txt
Вместо догадки по порядку строк видно применённое правило.
Узкое разрешение побеждает общий запрет
В примере Disallow: /private/ закрывает каталог, но более длинное Allow: /private/public/ открывает вложенную страницу. Проверка robots.txt указывает строку победившего правила.
Один текст для создания, теста и загрузки
Просмотрите группу User-agent до добавления в редактор. Затем проверьте путь и скачайте тот же robots.txt. Строки Sitemap показаны отдельно, поскольку они не разрешают обход.
Три шага перед публикацией
02
Проверьте нужный путь
Можно вставить полный URL, но сравниваются только путь и параметры. Автоматический тест ждёт 350 мс после ввода; после отключения используйте кнопку или Ctrl/Cmd + Enter.
03
Сверьте строку и скачайте
Результат показывает группу, победившее правило и номер строки. После изменения старый ответ помечается устаревшим, а копирование и скачивание блокируются до нового теста.
Как трактуются правила
Приоритет конкретной группы
Группы с одинаковым токеном объединяются при оценке. Группа Googlebot не смешивается с общей User-agent: *.
Самое длинное совпадение
Поддерживаются префикс, символ * и завершающий $. При одинаковой длине Allow имеет приоритет перед Disallow.
Sitemap и диагностика
Корректные абсолютные URL Sitemap выводятся с номерами строк. Неизвестные директивы и неверные пути отмечаются, но исходный текст не переписывается.
Границы локальной проверки
- Нет запроса к живому сайту
- Оценивается только вставленный текст. Проверка robots.txt не загружает серверный /robots.txt и не моделирует HTTP-ответы или переадресации.
- Один путь за один запуск
- Инструмент не обходит сайт и не проверяет множество роботов разом. Важные URL и токены тестируйте отдельно.
- Это не защита данных и не noindex
- Disallow — просьба к добросовестному роботу. Известный по ссылкам URL может оставаться в поиске; личные данные защищайте авторизацией.
- Дополнительные поля не меняют доступ
- Crawl-delay и Host сохраняются в тексте, но не участвуют в решении Allow/Disallow. Sitemap тоже не является правилом доступа.
- Нет скрытого исправления файла
- Генератор добавляет только подтверждённую группу. Он не сортирует комментарии, не чинит опечатки и не размещает файл на сервере.
Проверка robots.txt: частые вопросы
Зачем проверять robots.txt на ошибки?
Опечатка или слишком широкий запрет меняет доступ к нужным страницам. Здесь номера проблемных строк видны до размещения файла.
Что означает директива Disallow?
Она просит выбранных роботов не запрашивать путь. Если более длинное Allow тоже подходит, разрешение может победить.
Можно ли проверить конкретный URL в robots.txt?
Да. Укажите адрес или путь и токен робота. Проверка показывает разрешение, подходящую группу и решающую строку.
Можно ли полностью закрыть сайт через robots.txt?
Для соблюдающих правила роботов User-agent: * вместе с Disallow: / запрещает обход всех путей. Перед публикацией проверьте, не попадёт ли такая строка на рабочий сайт.
Можно ли использовать robots.txt для закрытия личных данных?
Нет. Файл публичен, а недобросовестные клиенты могут игнорировать запрет. Для приватных страниц нужна серверная авторизация.
Результат правила непонятен?
Запустите проверку robots.txt
Измените пример и прочитайте решающую строку. Проверка robots.txt скачивает только текущий проверенный текст.