Gerador de robots.txt
Monte o robots.txt do seu site: escolha o rastreador, adicione as regras de permissão e indique o Sitemap. A ferramenta roda 100% no seu navegador: sem cadastro, sem conectar nada e sem enviar ou guardar as suas regras.
Use * para todos os rastreadores ou o nome de um específico, como Googlebot.
Monte pelo menos uma regra válida, indique o Sitemap ou defina o Crawl-delay para gerar o arquivo — sem conteúdo, nenhum robots.txt sai daqui.
1 regra inválida ficou fora do arquivo:
- Regra 1: o caminho precisa começar por / e não pode conter espaços nem #
Como usar o arquivo gerado
- Regras Allow e Disallow: cada linha diz o que um rastreador pode ou não abrir; os caminhos começam sempre por /. Linhas inválidas aparecem na lista acima e ficam fora do arquivo.
- Sitemap: indique o endereço completo do sitemap para os buscadores o encontrarem a partir do robots.txt.
- Crawl-delay: opcional. O Google ignora esta diretiva; alguns outros buscadores a respeitam. Ela não controla o Google.
- O arquivo é uma instrução, não uma garantia: o robots.txt diz o que os buscadores podem rastrear, não garante o que será indexado. Quais URLs o Google rastreia e indexa é decisão do Google.
De onde vem esta ferramenta
O gerador resolve um passo concreto de publicação: transformar as decisões de rastreamento do site no arquivo que os buscadores leem antes de visitar as páginas. Veja a lista completa de funcionalidades da SEOIA.