为搜索引擎爬虫创建和自定义robots.txt
每行一个
User-agent: * Allow: / Disallow: /admin/ Disallow: /private/ Disallow: /api/ Sitemap: https://example.com/sitemap.xml
保存为网站根目录的robots.txt