Robots.txt 配置完全指南：核心语法与常见错误详解
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /c04019e275b6.html
📄
Robots.txt 是网站根目录下一个极其普通的文本文件，却掌握着搜索引擎抓取的“通行证”。它用一套简洁的规则告诉爬虫：哪些页面欢迎光临，哪些区域请勿打扰。值得注意的是，它更像是君子协定，而非强制执行的“防火墙”，合理配置能让爬虫聚焦重点页面，同时为服务器减轻无谓的压力。
1. 搜索引擎爬虫是如何对待这个文件的
每当搜索引擎的爬虫准备访问一个网站，它做的第一件事往往不是抓取首页，而是先请求站点根目录下的 /robots.txt。如果这个文件存在，并且爬虫尊重协议，它就会根据文件中的指令规划自己的抓取路线。反过来，如果网站没有提供这个文件，爬虫会默认当前站点所有内容对抓取开放。
在实际运用中，这个文件主要承担三类任务：阻止爬虫进入后台管理页面、过滤掉标签聚合页或搜索结果页这类低价值页面、通过降低抓取频率来节省服务器带宽。必须时刻记住，守规矩的正规搜索引擎会遵循这些指令，但一些恶意扫描程序并不理会，因此万万不可把它当作网站的安全防线。
2. 语法结构与核心指令详解
这个文件的内容由若干条记录组成，每条记录都以 User-agent 声明开头，后面跟着一组具体的指令。对于初学者而言，掌握以下五个关键指令就足够应对绝大部分场景：
- User-agent：用来指定规则适用于哪个爬虫，通配符 * 表示这条规则对所有主流搜索引擎的爬虫生效。
- Disallow：定义禁止抓取的路径前缀。例如 Disallow: /admin/ 意味着该目录下的所有网页都不允许被访问。
- Allow：在路径长度相同的匹配中拥有比 Disallow 更高的优先级，常用来在屏蔽整个目录的同时，单独放行其中的个别文件。
- Sitemap：声明 XML 站点地图的完整网址，帮助爬虫快速定位网站中较为重要的页面。
- Crawl-delay：建议爬虫两次请求之间等待的秒数，但需要留意，现在支持这个参数的爬虫已经越来越少了。
2.1 份清晰明了的配置示例
下面是一份标准的配置写法，结构一目了然，也方便日后维护：
User-agent: *
Disallow: /tmp/
Disallow: /private/
Allow: /private/special.html
Sitemap: https://www.example.com/sitemap.xml
这段规则的实际效果是：所有搜索引擎的爬虫都不得抓取 tmp 和 private 这两个目录，但 private 目录下的 special.html 这个文件被单独破例放行，同时向爬虫指明了站点地图的位置。
3. 常见应用场景与避坑经验
配置 robots.txt 看似简单，但实践中一个小小的疏忽往往会让配置效果落空。以下几种情况需要格外留心：
- 完全开放抓取：如果不需要任何限制，将 Disallow 字段留空，或者直接省略这一行即可，无需画蛇添足。
- 屏蔽整个网站：使用 Disallow: / 可以让整个站点从搜索结果中消失，但要想清楚，这意味着所有新发布的内容也将彻底失去自然曝光的机会，贸然启用可能代价惨重。
- 只限制某个搜索引擎：假如只想屏蔽百度而放行谷歌，可以把 User-agent 写成百度的专属爬虫标识，并在接下来的另一条记录中再次用 * 为其他爬虫解除限制，防止误伤。
最容易踩的坑是混淆了路径匹配的规则。这里的匹配属于前缀匹配，Disallow: /news 不仅会屏蔽 /news 开头的路径，连 /newsletter 这样的页面也会一并被拦下，如果只想屏蔽目录，务必在末尾加上斜杠写成 /news/。
4. 文件测试与内容更新技巧
写完 robots.txt 之后，没有经过验证就上线是一种常见失误。不少搜索引擎官方提供了专门的测试工具，例如谷歌的搜索控制台内就内置了 robots.txt 测试器，可以帮你模拟爬虫的思考方式，查看某个具体的网址会被如何对待。建议在上线前把网站内几个关键的页面地址逐一输入测试工具，确认搜索结果符合预期。
同时，这个文件不是一成不变的。当你调整了网站目录结构、上线了新的版块或关闭了旧的功能页面，记得同步更新文件内容。更新后暂时看不到效果也不必慌张，爬虫重新抓取这个文件需要一定的时间，通常不会即时生效。
5. 常见问题
5.1 robots.txt 写错了会影响网站权重吗
如果误屏蔽了关键页面，比如首页或主力产品页，爬虫会停止抓取这些页面，导致其逐渐从搜索结果中被移除，自然会对网站的搜索流量产生负面影响。一旦发现问题，第一时间修正配置，并借助搜索引擎的抓取工具提交更新即可。
5.2 放在子目录的网站还能用 robots.txt 吗
不能。robots.txt 只对站点根目录下的文件生效。如果你的网站内容部署在子目录里，比如 example.com/subsite/，那么必须确保该子目录对应的根域名下存在可用的 robots.txt 文件，否则爬虫无法识别。
5.3 爬虫无视 robots.txt 规则怎么办
首先要明确，并非所有爬虫都会遵守这个协议。对于无视规则的程序，更有效的做法是借助服务器层面的访问控制，比如在 Nginx 或 Apache 配置中按 IP 地址或 User-agent 进行访问拦截，这样才能从根源上阻止那些不守规矩的抓取。
6. 总结
配置 robots.txt 是一项费时不多但收益明确的工程。建议从最小化的限制开始，仅屏蔽确实不需要被收录的后台路径和低价值参数页，并写清楚 Sitemap 位置。上线前务必用官方测试工具逐条验证规则效果，不要只停留在“看起来没问题”的层面。同时把文件更新纳入网站改版的常规流程中，避免结构变动后文件内容脱节。
