robots.txt规则详解：语法、优先级与常见配置误区

📍 WDQWDWQD987AAAAA:216.73.216.54
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /5ecd87f2a867.html
📄

robots.txt 是搜索引擎爬虫访问网站时首先读取的协议文件，位于网站根目录。合理配置 robots.txt 规则，既能引导爬虫高效抓取，也能避免敏感页面被索引。但规则写错，轻则抓取效率下降，重则整站被屏蔽。

robots.txt 基本语法规则

robots.txt 由若干条记录组成，每条记录以 User-agent 开头，后跟 Allow 与 Disallow 规则。核心要点如下：

• User-agent：指定规则适用的爬虫，* 代表所有爬虫；
• Disallow：禁止抓取的路径，留空表示允许全部；
• Allow：显式允许抓取的路径，常用于覆盖更宽泛的 Disallow；
• Sitemap：声明站点地图地址，便于爬虫发现页面。

路径支持通配符 * 和结尾锚点 $，例如 Disallow: /*?sessionid= 可屏蔽带会话参数的 URL。

规则优先级与匹配逻辑

当多条规则同时匹配同一 URL 时，搜索引擎通常遵循最长匹配优先原则：匹配路径越长，优先级越高；长度相同时，Allow 一般优先于 Disallow。不同爬虫对通配符的支持程度略有差异，建议使用搜索引擎官方工具验证。

常见配置误区

1. 误以为 Disallow 能阻止页面被收录——它只阻止抓取，已收录页面仍可能出现在结果中，需配合 noindex；
2. 在路径末尾漏写斜杠，导致匹配范围过大；
3. 多个 User-agent 记录混写规则，造成解析歧义；
4. 用 robots.txt 屏蔽 CSS、JS 资源，影响搜索引擎渲染判断。

实践建议

上线前用抓取测试工具检查 robots.txt 是否可访问、返回 200 状态码；对重要目录先 Allow 再 Disallow 细化；定期审查规则，避免误屏蔽新栏目。正确理解 robots.txt 规则，是保障网站抓取与索引健康的基础。