Gerador de robots.txt
Crie um arquivo robots.txt com regras de rastreadores e URLs de sitemap. Copie ou baixe um rascunho a partir dos caminhos informados.
Como esta ferramenta funciona
Informe um token de produto do rastreador, caminhos permitidos, caminhos bloqueados e URLs de sitemap opcionais. O gerador valida os dados e formata um rascunho de robots.txt no navegador.
- Este gerador não lê seu arquivo existente, busca seu site nem publica alterações.
- O robots.txt não é um controle de acesso. Uma URL bloqueada ainda pode aparecer nos resultados de pesquisa.
Leia o resultado e tome uma ação.
Exemplo ilustrativo — não é um resultado ao vivo
Evite requisições de rastreadores a uma seção privada
Adicione /private/ como caminho Disallow para o rastreador escolhido.
Próxima etapa: Compare o rascunho com suas regras existentes antes de publicá-lo em /robots.txt.
Perguntas frequentes
Onde coloco o robots.txt?
Publique o arquivo na raiz do host correspondente, como https://example.com/robots.txt. Subdomínios podem ter arquivos separados.
Disallow remove uma página do Google?
Não necessariamente. O robots.txt controla o rastreamento. Os mecanismos de pesquisa podem descobrir uma URL por links. Use os controles de indexação adequados quando precisar excluir uma página.
Posso manter as regras existentes dos rastreadores?
Sim. Revise o arquivo existente completo e combine as regras com cuidado. Esta ferramenta cria um grupo de rastreadores; não combina nem testa um arquivo existente.
Use esta ferramenta com um agente
Abra esta página em um navegador compatível com WebMCP. Peça ao seu agente para usar os valores fornecidos. O resultado gerado aparece aqui e é retornado como JSON. Seu agente também pode usar o endpoint POST público.
generate_robots_txt({
"userAgent": "*",
"allow": [
"/"
],
"disallow": [
"/private/",
"/admin/"
],
"sitemaps": [
"https://example.com/sitemap.xml"
]
})
POST /api/free-tools/robots-txt-generator
Content-Type: application/json
{
"userAgent": "*",
"allow": [
"/"
],
"disallow": [
"/private/",
"/admin/"
],
"sitemaps": [
"https://example.com/sitemap.xml"
]
}Os resultados incluem a saída gerada, resultados dos dados fornecidos e limites de uso. Veja o catálogo de ferramentas.