选择策略
根据内容是否允许搜索、AI 搜索或模型训练选择模板。
CRAWLER CONTROL
AI Robots.txt 生成器
为搜索引擎与主流 AI 爬虫配置访问策略。本工具只在浏览器本地处理你的输入，不会读取或上传网站数据。
✓ 本地生成 · 无需注册
01
选择模板后仍可编辑生成结果配置访问规则
!Robots.txt 只能表达公开抓取偏好，不能保护敏感数据。后台、密钥或私有文件必须通过身份认证和服务器权限控制。
02
预览与校验
使用说明
三步完成配置
生成后请由网站管理员将文件部署到域名根目录，并根据实际业务复核规则。
检查风险
确认没有误封整站、核心目录或 Sitemap。
部署文件
保存为 robots.txt 并上传至网站根目录。