Robots.txt 生成器

可视化配置网站的 robots.txt 文件，控制搜索引擎爬虫访问规则

User-Agent (爬虫名称)

常用: *, Googlebot, Baiduspider, Bingbot, Slurp

Crawl Delay (爬取延迟，秒)

允许路径

禁止路径

告诉搜索引擎你的网站地图位置

配置规则后点击"生成 robots.txt"

• User-Agent: 指定爬虫名称，* 表示所有爬虫

• Allow: 允许爬虫访问的路径

• Disallow: 禁止爬虫访问的路径

• Crawl-delay: 爬虫请求之间的延迟时间（秒）

• Sitemap: 指向网站地图的完整 URL

• robots.txt 文件应放在网站根目录，访问路径为：https://example.com/robots.txt

• 常见爬虫: Googlebot（谷歌）、Baiduspider（百度）、Bingbot（必应）、Slurp（雅虎）

• robots.txt 不是安全机制，敏感内容仍需通过认证保护