Verificador de acesso de rastreadores de IA
Verifique as regras do robots.txt para rastreadores de pesquisa e treinamento de IA. Veja qual regra se aplica à sua página.
Como a verificação funciona
Busque o robots.txt da origem e avalie o caminho informado com o token de produto de cada rastreador listado. Mostre a regra correspondente e separe os rastreadores de pesquisa dos de treinamento.
- A permissão do robots.txt não comprova que um rastreador pode acessar sua página. Firewalls, autenticação e políticas do rastreador também podem afetar o acesso.
- Esta verificação não mede citações, posicionamento nem se o conteúdo foi usado para treinamento.
Leia o resultado e tome uma ação.
Exemplo ilustrativo — não é um resultado ao vivo
OAI-SearchBot está bloqueado
A página corresponde a Disallow: / no grupo OAI-SearchBot.
Próxima etapa: Se quiser que este rastreador acesse a página, revise a regra com o administrador do site.
Perguntas frequentes
Permitir um rastreador garante uma citação por IA?
Não. Uma regra robots.txt apenas descreve a permissão de rastreamento. O serviço de pesquisa decide se vai buscar, indexar ou citar o conteúdo.
Posso permitir pesquisa e bloquear treinamento?
Alguns provedores publicam identidades de rastreadores separadas para pesquisa e treinamento. Este relatório as lista separadamente para que você revise cada finalidade.
Use esta ferramenta com um agente
Abra esta página em um navegador compatível com WebMCP. Peça ao seu agente para verificar sua URL. O resultado aparece aqui e é retornado ao agente como JSON. Seu agente também pode usar o endpoint POST público.
check_ai_crawler_access({
"url": "https://example.com"
})
POST /api/free-tools/ai-crawler-checker
Content-Type: application/json
{
"url": "https://example.com"
}Os resultados contêm constatações, evidências, sugestões de correção, horário da verificação e limites de cobertura. Veja o catálogo de ferramentas.