Gerador de Robots.txt
Escolha quais robôs podem rastrear o site, o que liberar, o que bloquear e o endereço do sitemap. O arquivo é gerado na hora, pronto para baixar.
Prévia do robots.txt
User-agent: * Allow: / Disallow: /admin/ Disallow: /login/
O robots.txt é uma diretiva de rastreamento, não um mecanismo de segurança: qualquer pessoa pode abrir o arquivo e ver os caminhos listados.
Seus dados são processados diretamente no seu navegador.
Como funciona
O robots.txt é um arquivo de texto na raiz do site que diz aos rastreadores quais caminhos eles podem ou não visitar. Cada bloco começa com um User-agent e é seguido pelas regras Allow e Disallow.
Exemplo prático
Uma loja virtual costuma liberar tudo e bloquear apenas o carrinho, a área administrativa e as páginas de busca interna, evitando que o buscador gaste tempo em endereços sem valor.
Erros comuns
O erro mais grave é deixar Disallow: / no site inteiro depois de um teste — isso impede o rastreamento de todas as páginas. Outro erro é confiar no robots.txt para esconder informações confidenciais.
Perguntas frequentes
- O robots.txt protege páginas privadas?
- Não. Ele é uma diretiva de rastreamento, não um mecanismo de segurança. Qualquer pessoa pode ler o arquivo, e páginas sensíveis precisam de senha ou autenticação.
- Onde o arquivo deve ficar?
- Sempre na raiz do domínio, acessível em seusite.com/robots.txt. Em subpastas ele é ignorado.
- Bloquear no robots.txt tira a página do Google?
- Não necessariamente. Uma URL bloqueada pode continuar aparecendo se houver links para ela. Para removê-la do índice, use a meta tag noindex sem bloquear o rastreamento.
- Preciso declarar o sitemap?
- Não é obrigatório, mas ajuda os buscadores a encontrar todas as páginas do site mais rápido.