searchata

Generador de robots.txt

Crea un archivo robots.txt con reglas de rastreadores y URL de sitemap. Copia o descarga un borrador a partir de las rutas proporcionadas.

Usa * para todos los rastreadores o un token de producto como Googlebot.

Una ruta por línea. Las rutas comienzan con /.

Una ruta por línea. Revisa las reglas antes de publicar.

Una URL HTTP(S) completa por línea.

Gratis. Sin necesidad de cuenta. Este formulario procesa los valores en tu navegador.

WebMCP disponible en navegadores compatibles

Cómo funciona esta herramienta

Ingresa un token de producto del rastreador, rutas permitidas, rutas bloqueadas y URL de sitemap opcionales. El generador valida los datos y da formato a un borrador de robots.txt en el navegador.

  • Este generador no lee tu archivo existente, obtiene tu sitio ni publica cambios.
  • Robots.txt no es un control de acceso. Una URL bloqueada puede seguir apareciendo en los resultados de búsqueda.

Lee el resultado y toma una acción.

Ejemplo ilustrativo — no es un resultado en vivo

Evita solicitudes de rastreadores a una sección privada

Agrega /private/ como ruta Disallow para el rastreador seleccionado.

Siguiente paso: Compara el borrador con tus reglas existentes antes de publicarlo en /robots.txt.

Preguntas frecuentes

¿Dónde coloco robots.txt?

Publica el archivo en la raíz del host correspondiente, como https://example.com/robots.txt. Los subdominios pueden tener archivos separados.

¿Disallow elimina una página de Google?

No necesariamente. Robots.txt controla el rastreo. Los buscadores pueden descubrir una URL mediante enlaces. Usa los controles de indexación adecuados cuando necesites excluir una página.

¿Puedo conservar las reglas existentes de los rastreadores?

Sí. Revisa el archivo existente completo y combina las reglas con cuidado. Esta herramienta crea un grupo de rastreadores; no combina ni prueba un archivo existente.

Usa esta herramienta con un agente

Abre esta página en un navegador compatible con WebMCP. Pide a tu agente que use los valores proporcionados. El resultado generado aparece aquí y se devuelve como JSON. Tu agente también puede usar el endpoint POST público.

generate_robots_txt({
  "userAgent": "*",
  "allow": [
    "/"
  ],
  "disallow": [
    "/private/",
    "/admin/"
  ],
  "sitemaps": [
    "https://example.com/sitemap.xml"
  ]
})

POST /api/free-tools/robots-txt-generator
Content-Type: application/json

{
  "userAgent": "*",
  "allow": [
    "/"
  ],
  "disallow": [
    "/private/",
    "/admin/"
  ],
  "sitemaps": [
    "https://example.com/sitemap.xml"
  ]
}

Los resultados incluyen la salida generada, resultados de los datos proporcionados y límites de uso. Consulta el catálogo de herramientas.