Ferramentas SEO/Gerador de Robots.txt

Gerador de Robots.txt

Crie e personalize robots.txt para rastreadores de busca

User-Agent

Caminhos Permitidos

Um caminho por linha

Caminhos Bloqueados

Um caminho por linha

URL do Sitemap

Atraso de Rastreamento (segundos)

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /private/
Disallow: /api/

Sitemap: https://example.com/sitemap.xml

Salve como robots.txt no diretório raiz do seu site