01
Identifier le robot
Googlebot est proposé au départ. Un groupe précis ne récupère pas les règles du groupe User-agent: *. Saisissez son jeton produit, pas un en-tête User-Agent complet.
Contrôle de l’exploration
testeur de robots.txtRédiger puis vérifier le même fichier
Collez un brouillon robots.txt et choisissez un robot ainsi qu’un chemin. Le site distant n’est jamais interrogé.
testeur de robots.txt
Verdict du chemin
Exploration autorisée
- Groupe retenu
- *
- Règle décisive
- Allow: /private/public/ · Ligne 3
La règle correspondante la plus longue gagne ; Allow départage les égalités.
Lignes Sitemap
- https://example.com/sitemap.xml · Ligne 4
Les règles restent dans cet onglet. Aucune requête au site.
Création d’un groupe
Brouillon actuel testé.
Avant de modifier un site, une règle Disallow trop large peut fermer une page publique. Le testeur de robots.txt indique quelle ligne s’applique réellement, y compris lorsqu’une exception Allow plus précise gagne.
Le générateur de robots.txt ajoute un groupe après prévisualisation dans le même texte. Pour tester une URL robots.txt, le chemin et la requête suffisent ; les règles Allow Disallow et les lignes Sitemap restent séparées dans le résultat.
Pourquoi utiliser ce testeur de robots.txt
Comprendre la décision avant de publier le fichier.
L’exception précise reste ouverte
Dans l’exemple, Disallow: /private/ bloque le dossier, mais Allow: /private/public/ autorise la page plus précise. Le testeur de robots.txt affiche la ligne gagnante, sans dépendre de l’ordre des règles.
Un seul texte entre création et export
Prévisualisez le groupe User-agent, puis ajoutez-le au brouillon. Le test et le téléchargement utilisent exactement ce texte. Les Sitemap sont signalés à part, car ils n’autorisent pas un chemin.
Trois vérifications avant la mise en ligne
02
Choisir le chemin à éclaircir
Vous pouvez saisir une URL complète ; seuls son chemin et sa requête sont comparés. Le test automatique attend 350 ms après une modification. Désactivez-le pour utiliser le bouton ou Ctrl/Cmd + Enter.
03
Lire la règle avant l’export
Vérifiez le groupe, la directive décisive et son numéro de ligne. Toute modification rend le verdict précédent obsolète et bloque copie et téléchargement jusqu’au nouveau test.
Ce que montre l’analyse locale
Groupes de robots spécifiques
Les groupes répétés du même jeton sont réunis pour l’évaluation. Un groupe Googlebot ne fusionne pas avec le groupe générique *.
Priorité au motif le plus long
Les préfixes, * et le $ final sont pris en charge. À longueur égale, Allow prime sur Disallow.
Sitemap et lignes ignorées
Les URL Sitemap absolues sont listées avec leur ligne. Les directives inconnues ou chemins mal formés sont signalés, sans réécrire le brouillon.
Les limites de ce verdict
- Aucun fichier distant récupéré
- Seul le texte collé est analysé. Le testeur de robots.txt ne lit ni /robots.txt en ligne ni les redirections ou statuts HTTP.
- Un chemin à la fois
- Aucun crawl du site ou tableau de robots n’est réalisé. Testez séparément les URL et agents importants.
- Pas de protection ni de désindexation
- Disallow demande aux robots coopératifs de ne pas explorer un chemin. Une URL liée ailleurs peut rester indexée ; les données privées demandent une authentification.
- Les extensions ne changent pas l’accès
- Crawl-delay et Host restent dans le fichier, sans compter comme Allow/Disallow. Sitemap aide à découvrir des pages, pas à décider de leur accès.
- Pas de correction silencieuse
- Le générateur ajoute uniquement un groupe confirmé. Il ne reclasse pas les commentaires, ne corrige pas les fautes et ne déploie rien.
Questions sur le testeur de robots.txt
Comment tester si une URL est bloquée par robots.txt ?
Collez les règles, indiquez le robot et le chemin ou l’URL. Le résultat affiche le verdict, le groupe et la ligne exacte qui le décide.
Quel groupe s’applique quand plusieurs correspondent à mon user-agent ?
Le jeton le plus spécifique est retenu ; les groupes équivalents sont réunis. Le groupe * n’est utilisé qu’en l’absence de groupe précis.
Comment les conflits entre Allow et Disallow sont-ils résolus ?
Le motif correspondant le plus long l’emporte. Si les longueurs sont égales, Allow est préféré à Disallow, quel que soit l’ordre des lignes.
Que signifient * et $ dans une règle robots.txt ?
* correspond à une suite de caractères ; un $ placé à la fin exige la fin du chemin ou de la requête. Testez les URL réelles avant publication.
Bloquer une page dans robots.txt la retire-t-elle de Google ?
Non. La règle limite l’exploration, mais une URL connue par des liens peut rester affichée. Pour l’exclure, envisagez noindex sur une page accessible au robot.
Un résultat vous paraît incorrect ?
Essayez le testeur de robots.txt
Modifiez l’exemple et vérifiez la ligne gagnante. Le testeur de robots.txt exporte uniquement le texte actuellement vérifié.