Robots.txt 在线生成

面向 SEO 开发的 robots.txt 在线生成工具。无需记忆语法，可视化配置爬虫黑白名单、访问路径、抓取延迟与站点地图，支持区分搜索引擎、AI 爬虫等不同 UA。自动输出符合官方规范的文本，规避语法错误，一键复制部署至网站根目录，高效管控网页爬虫抓取范围，优化站点收录策略。

基本设置
帮助搜索引擎发现您的内容
爬虫在请求之间应等待的时间
快捷屏蔽
自定义禁止规则
特定爬虫代理
生成的 robots.txt
# robots.txt for your website
# Generated by Prism.Tools

User-agent: *
Allow: /
💡 快速指南：robots.txt 文件告诉搜索引擎爬虫哪些页面可以访问，哪些不可以。将其放置在网站的根目录（例如 example.com/robots.txt）。使用 "Disallow" 屏蔽路径，"Allow" 明确允许访问。请注意：这是一个指导性文件，并非强制性措施——恶意爬虫可能会忽略它。

发布评论

发布评论前请先 登录。

评论列表 0

暂无评论