跳到主要内容
Web

Robots.txt生成器

Robots.txt生成器:根据输入的爬虫规则、路径与站点地图信息生成 robots.txt 文本,便于配置公开网站的抓取指引并复制到站点目录。

文件和输入内容在当前浏览器中处理,无需注册。

输入

第二段内容 / 对比文本 / 请求正文
或拖放文件到这里

结果

填写内容或选择文件后,点击「运行工具」查看结果。
返回工具箱