01
Define el rastreador
Se propone Googlebot. Un grupo específico no hereda reglas de User-agent: *. Introduce el token del producto, no una cabecera HTTP completa.
Control de rastreo
generador de robots.txtCrea reglas y comprueba el mismo archivo
Edita un borrador de robots.txt, elige un rastreador y prueba una ruta. No se consulta el sitio remoto.
generador de robots.txt
Resultado de la ruta
Rastreo permitido
- Grupo elegido
- *
- Regla decisiva
- Allow: /private/public/ · Línea 3
Gana la regla coincidente más larga; Allow gana los empates.
Líneas Sitemap
- https://example.com/sitemap.xml · Línea 4
Las reglas quedan en esta pestaña. No se consulta el sitio web.
Constructor de grupos
Borrador actual probado.
Antes de publicar una regla amplia, conviene saber si bloquea una página que debía seguir abierta. Este generador de robots.txt muestra la regla exacta que decide el acceso para la ruta elegida.
El probador de robots.txt usa el mismo texto que se descargará. Puedes comprobar reglas robots.txt y bloquear rastreadores concretos mediante grupos separados, sin atribuir a Sitemap un efecto sobre Allow o Disallow.
Por qué usar este generador de robots.txt
La decisión de rastreo se puede seguir hasta una línea del archivo.
Una excepción más larga puede permitir el acceso
Disallow: /private/ bloquea la carpeta del ejemplo, pero Allow: /private/public/ permite la ruta más específica. El generador de robots.txt enseña la línea ganadora antes de que publiques el archivo.
Borrador, prueba y descarga comparten texto
Previsualiza un grupo User-agent antes de añadirlo al archivo. Después prueba esa misma versión y descárgala como robots.txt. Las líneas Sitemap aparecen aparte porque no deciden permisos.
Tres comprobaciones antes de subirlo
02
Prueba una ruta relevante
Puedes introducir una URL completa; se comparan solo la ruta y la consulta. La prueba automática espera 350 ms tras cada cambio. Al desactivarla, usa el botón o Ctrl/Cmd + Enter.
03
Lee la línea que decidió
El resultado indica grupo, regla ganadora y número de línea. Si cambias algo, el resultado queda obsoleto y la copia y la descarga se desactivan hasta volver a probar.
Qué calcula el comprobador
Grupos específicos
Para la prueba se combinan grupos repetidos del mismo token. Un grupo Googlebot no se mezcla con User-agent: *.
La coincidencia más larga
Se admiten prefijos, el comodín * y $ al final. En un empate de longitud prevalece Allow sobre Disallow.
Sitemap y líneas problemáticas
Las URL Sitemap absolutas muestran su línea. Las directivas desconocidas y rutas inválidas se señalan sin modificar el texto original.
Límites de la prueba local
- No lee el archivo publicado
- Solo se evalúa el texto pegado. El generador de robots.txt no consulta /robots.txt en línea ni interpreta respuestas HTTP o redirecciones.
- Una ruta por prueba
- No rastrea todo el sitio ni hace una matriz de bots. Vuelve a probar por separado las rutas y los rastreadores importantes.
- No protege contenido privado
- Disallow solicita a bots cooperativos que no rastreen. Una URL enlazada puede seguir apareciendo en Google; utiliza autenticación o noindex según lo que necesites.
- Las extensiones no cambian el permiso
- Crawl-delay y Host se conservan como texto, pero no participan en la decisión Allow/Disallow. Sitemap tampoco es una regla de acceso.
- No reescribe reglas anteriores
- El constructor añade un grupo revisado. No reordena comentarios, repara erratas ni despliega el archivo en el servidor.
Preguntas sobre el generador de robots.txt
¿Dónde coloco el archivo robots.txt?
En la raíz del host correspondiente, por ejemplo https://ejemplo.com/robots.txt. Una copia dentro de una carpeta no controla todo el dominio.
¿Disallow elimina una página de Google?
No. Impide el rastreo de bots que obedecen, pero una URL conocida por enlaces puede seguir apareciendo. Para excluirla, usa noindex en una página accesible.
¿Cómo bloqueo un bot específico pero permito los demás?
Añade un grupo User-agent con ese token y Disallow: /; deja un grupo * aparte para los demás. Comprueba ambos tokens antes de publicar.
¿Debo añadir mi sitemap al robots.txt?
No es obligatorio, pero una línea Sitemap con URL absoluta ayuda a descubrir páginas. Se muestra en el resultado y no altera el permiso de la ruta.
¿Es gratuito y privado este generador de robots.txt?
Sí. La edición y la prueba se ejecutan localmente; el sitio remoto no recibe solicitudes. La copia y la descarga ocurren solo cuando las eliges.
¿No queda claro el resultado?
Prueba el generador de robots.txt
Cambia una regla del ejemplo y observa la línea decisiva. El generador de robots.txt guarda el texto que acabas de comprobar.