01
Defina o robô
Googlebot é o padrão. Um grupo específico não herda regras do User-agent: *. Digite o token do produto, não o cabeçalho HTTP inteiro.
Controle de rastreamento
testador de robots.txtCrie regras e teste o mesmo arquivo
Cole um rascunho de robots.txt, escolha o robô e um caminho. O site remoto não é consultado.
testador de robots.txt
Resultado do caminho
Rastreamento permitido
- Grupo escolhido
- *
- Regra decisiva
- Allow: /private/public/ · Linha 3
A regra mais longa vence; Allow decide o empate.
Linhas Sitemap
- https://example.com/sitemap.xml · Linha 4
As regras ficam nesta aba. Nenhuma solicitação é enviada ao site.
Criação de grupo
Rascunho atual testado.
Uma regra Disallow ampla pode impedir o acesso a uma página pública sem que você perceba. O testador de robots.txt mostra qual linha realmente decide o caminho escolhido antes de publicar.
O gerador de robots.txt acrescenta um grupo somente após prévia. Para testar regras robots.txt, o editor e o resultado usam a mesma versão; você pode verificar bloqueio de rastreamento sem tratar Sitemap como regra de permissão.
Por que usar este testador de robots.txt
O veredito vem com o grupo e a linha que o justificam.
Uma permissão específica supera o bloqueio amplo
No exemplo, Disallow: /private/ bloqueia a pasta, mas Allow: /private/public/ libera o caminho mais específico. O testador de robots.txt aponta a linha vencedora.
O mesmo texto vai da criação ao download
Pré-visualize um grupo User-agent antes de acrescentá-lo. Teste então o próprio documento e baixe-o como robots.txt. As linhas Sitemap são listadas à parte e não alteram o acesso.
Três conferências antes de publicar
02
Teste o caminho real
Uma URL completa é aceita, mas somente caminho e consulta são comparados. O teste automático espera 350 ms após a edição. Desative-o para usar o botão ou Ctrl/Cmd + Enter.
03
Leia a linha decisiva
Veja o grupo, a regra que venceu e o número da linha. Após qualquer alteração, o resultado antigo fica obsoleto e copiar ou baixar só volta a funcionar depois de novo teste.
O que a análise local mostra
Grupo de robô mais específico
Grupos repetidos com o mesmo token são reunidos na avaliação. Googlebot não combina seu grupo com User-agent: *.
Maior caminho correspondente
São aceitos prefixos, * e $ no fim. Em empate de comprimento, Allow vence Disallow.
Sitemap e linhas ignoradas
Endereços Sitemap absolutos aparecem com a linha de origem. Campos desconhecidos e caminhos inválidos são avisados sem mudar o arquivo.
O alcance real do teste
- Não busca o arquivo publicado
- Só o texto colado é analisado. O testador de robots.txt não acessa /robots.txt no servidor nem verifica redirecionamentos ou erros HTTP.
- Um caminho por vez
- Não há varredura do site nem matriz de robôs. Confira individualmente os caminhos e tokens mais importantes.
- Não garante sigilo ou remoção da busca
- Disallow pede cooperação aos robôs. Um URL conhecido por links ainda pode aparecer no Google; dados privados precisam de autenticação.
- Extensões não mudam a decisão
- Crawl-delay e Host permanecem no texto, mas não entram no cálculo Allow/Disallow. Sitemap é indicação de descoberta, não de acesso.
- Não corrige o arquivo sem aviso
- O gerador só acrescenta um grupo confirmado após prévia. Não rearruma comentários, conserta erros ou envia o arquivo ao servidor.
Perguntas sobre o testador de robots.txt
Como o robots.txt escolhe a regra?
Primeiro seleciona o grupo de User-agent mais específico. Entre as regras compatíveis com o caminho, vence a mais longa; Allow ganha em caso de empate.
Disallow remove uma página do Google?
Não. Ele limita o rastreamento, mas o endereço pode continuar visível se outros sites apontarem para ele. Para retirada, considere noindex em uma página acessível.
O que significam * e $?
O asterisco representa qualquer sequência de caracteres; $ no final fixa o fim do caminho ou da consulta. Confira URLs concretas antes da publicação.
Dá para testar um robots.txt que ainda não subiu?
Sim. Cole o rascunho e teste localmente antes do upload. O veredito se refere ao texto na tela, não ao arquivo publicado no site.
O teste vale para outros buscadores além do Google?
O cálculo segue regras do RFC 9309, mas cada crawler pode ter extensões e cache próprios. Selecione o token desejado e confirme o comportamento real após publicar.
Ficou alguma dúvida sobre o resultado?
Experimente o testador de robots.txt
Mude uma regra do exemplo e veja a linha vencedora. O testador de robots.txt só baixa o texto atualmente testado.