robots.txt编写指南：从零开始正确配置爬虫规则

📍 WDQWDWQD987AAAAA:216.73.216.238
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /474d94413cbc.html
📄

robots.txt 是网站与搜索引擎爬虫沟通的第一道桥梁。正确编写 robots.txt 文件，既能引导爬虫高效抓取重要页面，又能避免敏感目录被索引，是 SEO 基础工作中不可忽视的一环。本文将从文件位置、语法规则到常见误区，系统讲解 robots.txt 的编写方法。

一、robots.txt 文件放在哪里

robots.txt 必须放置在网站根目录下，且文件名严格为小写。例如：https://www.example.com/robots.txt。如果网站使用子目录，爬虫只会读取根目录下的文件，子目录中的 robots.txt 不会生效。编写前建议先确认服务器支持纯文本访问，返回状态码为 200。

二、核心语法规则

robots.txt 由若干条记录组成，每条记录以 User-agent 开头，后跟 Allow 或 Disallow 规则。常用指令如下：

• User-agent：指定规则适用的爬虫名称，如 Baiduspider、Googlebot，使用 * 表示所有爬虫。
• Disallow：禁止抓取的路径，值为 / 表示禁止全部，值为空表示允许全部。
• Allow：允许抓取的路径，通常与 Disallow 配合使用，优先级以最长匹配为准。
• Sitemap：声明网站地图地址，帮助爬虫发现页面，建议放在文件末尾。

三、编写示例与注意事项

一个基础的配置示例如下：允许所有爬虫抓取全站，但屏蔽后台目录和搜索结果页。

1. User-agent: *
2. Disallow: /admin/
3. Disallow: /search
4. Allow: /
5. Sitemap: https://www.example.com/sitemap.xml

编写时需注意：规则区分大小写，路径通配符支持 * 和 $；不要用 Disallow 屏蔽 CSS、JS 等渲染资源，否则会影响搜索引擎对页面的理解；修改后应使用搜索引擎的 robots.txt 测试工具验证，避免误屏蔽重要页面。同时，robots.txt 只是爬虫协议，不能替代访问权限控制，敏感数据仍需通过登录或加密保护。