searchata

Gerador de robots.txt

Crie um arquivo robots.txt com regras de rastreadores e URLs de sitemap. Copie ou baixe um rascunho a partir dos caminhos informados.

Use * para todos os rastreadores ou um token de produto como Googlebot.

Um caminho por linha. Os caminhos começam com /.

Um caminho por linha. Revise as regras antes de publicar.

Uma URL HTTP(S) completa por linha.

Grátis. Sem necessidade de conta. Este formulário processa os valores no navegador.

WebMCP disponível em navegadores compatíveis

Como esta ferramenta funciona

Informe um token de produto do rastreador, caminhos permitidos, caminhos bloqueados e URLs de sitemap opcionais. O gerador valida os dados e formata um rascunho de robots.txt no navegador.

  • Este gerador não lê seu arquivo existente, busca seu site nem publica alterações.
  • O robots.txt não é um controle de acesso. Uma URL bloqueada ainda pode aparecer nos resultados de pesquisa.

Leia o resultado e tome uma ação.

Exemplo ilustrativo — não é um resultado ao vivo

Evite requisições de rastreadores a uma seção privada

Adicione /private/ como caminho Disallow para o rastreador escolhido.

Próxima etapa: Compare o rascunho com suas regras existentes antes de publicá-lo em /robots.txt.

Perguntas frequentes

Onde coloco o robots.txt?

Publique o arquivo na raiz do host correspondente, como https://example.com/robots.txt. Subdomínios podem ter arquivos separados.

Disallow remove uma página do Google?

Não necessariamente. O robots.txt controla o rastreamento. Os mecanismos de pesquisa podem descobrir uma URL por links. Use os controles de indexação adequados quando precisar excluir uma página.

Posso manter as regras existentes dos rastreadores?

Sim. Revise o arquivo existente completo e combine as regras com cuidado. Esta ferramenta cria um grupo de rastreadores; não combina nem testa um arquivo existente.

Use esta ferramenta com um agente

Abra esta página em um navegador compatível com WebMCP. Peça ao seu agente para usar os valores fornecidos. O resultado gerado aparece aqui e é retornado como JSON. Seu agente também pode usar o endpoint POST público.

generate_robots_txt({
  "userAgent": "*",
  "allow": [
    "/"
  ],
  "disallow": [
    "/private/",
    "/admin/"
  ],
  "sitemaps": [
    "https://example.com/sitemap.xml"
  ]
})

POST /api/free-tools/robots-txt-generator
Content-Type: application/json

{
  "userAgent": "*",
  "allow": [
    "/"
  ],
  "disallow": [
    "/private/",
    "/admin/"
  ],
  "sitemaps": [
    "https://example.com/sitemap.xml"
  ]
}

Os resultados incluem a saída gerada, resultados dos dados fornecidos e limites de uso. Veja o catálogo de ferramentas.