Herramientas SEO/Generador de Robots.txt

Generador de Robots.txt

Crea y personaliza robots.txt para rastreadores de búsqueda

User-Agent

Rutas Permitidas

Una ruta por línea

Rutas Prohibidas

Una ruta por línea

URL del Sitemap

Retraso de Rastreo (segundos)

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /private/
Disallow: /api/

Sitemap: https://example.com/sitemap.xml

Guarda como robots.txt en el directorio raíz de tu sitio