运行工具
本工具用于在线生成指导搜索引擎爬虫抓取的 robots.txt 规则文本。你可以根据网站管理需求指定特定的网络爬虫标识（User-agent），默认面向所有爬虫生效。通过勾选或取消允许所有访问选项，能够快速切换抓取策略：开启时输出空规则以允许全面抓取；关闭时可按行输入需屏蔽的具体目录或文件路径。若关闭允许所有访问且未输入任何禁止路径，系统将自动输出针对全站根目录的禁止抓取规则。此外，你还可以填入网站地图（Sitemap）的完整网址以及爬取延迟（Crawl-delay）秒数，帮助爬虫了解索引结构并控制抓取频率。生成完成后，可直接复制文本内容并放置在站点的根目录中。
使用说明
- 在爬虫代理输入框中填入目标网络爬虫标识，若面向所有爬虫可保持默认的星号 *。
- 如需允许爬虫抓取全站，勾选允许所有选项；如需限制抓取，取消勾选并在禁止路径中按行输入需屏蔽的目录。
- 在网站地图字段中输入完整的 Sitemap 网址（可选）。
- 如需限制爬虫访问频率，可在爬取延迟字段中填入间隔秒数（可选）。
- 点击运行按钮，即可在输出面板中查看并复制生成的 robots.txt 文本内容。
示例
- 配置通用爬虫屏蔽后台目录：保持爬虫代理为 *，取消勾选允许所有，在禁止路径中填入 /admin/ 与 /private/，网站地图填入 https://example.com/sitemap.xml，输出包含对应屏蔽指令与地图链接的规则文本。
- 允许全站抓取并限制抓取间隔：保持爬虫代理为 * 并勾选允许所有，在爬取延迟中填入 10，输出包含空 Disallow 指令与 Crawl-delay: 10 的规则文本。
常见问题
robots.txt 应该放置在网站的什么位置？
robots.txt 文件需要放置在网站的根目录下，例如 https://example.com/robots.txt，以便搜索引擎爬虫在访问站点时能够自动读取。
如果不填写禁止路径并且关闭了允许所有，会生成什么规则？
若未勾选允许所有且没有提供任何有效禁止路径，工具会自动输出 Disallow: / 指令，表示对指定的爬虫禁止抓取全站内容。
可以在禁止路径中一次填写多条目录吗？
可以在禁止路径输入框中直接换行输入各个相对路径（例如 /admin/ 与 /temp/），工具会自动将每行转换为单独的 Disallow 指令行并忽略空行。
生成的 robots.txt 会自动应用到网站上吗？
工具仅生成规则文本内容，不会自动上传或部署到任何服务器。需要手动复制生成的文本并保存为 robots.txt 文件上传至网站根目录。