robots.txt 配置指南：从入门到精通的完整教程

📍 WDQWDWQD987AAAAA:216.73.217.61
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /554a40f5d6f8.html
📄

robots.txt 是网站与搜索引擎爬虫之间沟通的基础协议文件，它告诉爬虫哪些页面可以抓取、哪些应当避开。尽管它不能强制执行安全策略，但正确的 robots.txt 配置能显著影响网站的索引效率和 SEO 表现。本文将带你从入门到精通，掌握 robots.txt 的核心用法。

robots.txt 的基本语法

robots.txt 是一个纯文本文件，必须放置在网站根目录下，例如 https://example.com/robots.txt。其核心指令包括：

• User-agent：指定规则适用的爬虫名称，如 Googlebot、Baiduspider，使用星号（*）表示所有爬虫。
• Disallow：禁止爬虫访问的路径，例如 Disallow: /admin/。
• Allow：允许爬虫访问的路径，通常用于覆盖 Disallow 规则。
• Sitemap：声明网站地图的完整 URL，帮助爬虫发现内容。

常见配置场景

1. 屏蔽后台与敏感目录

对于电商或 CMS 网站，后台路径（如 /wp-admin/）和用户数据目录应通过 Disallow 屏蔽，避免被搜索引擎索引。例如：
User-agent: *
Disallow: /wp-admin/
Disallow: /cart/

2. 允许特定爬虫访问

若你希望仅允许 Google 抓取某个目录，可以针对 User-agent 单独设置。注意规则顺序：更具体的规则优先。

3. 使用 Sitemap 提升发现效率

在 robots.txt 末尾添加 Sitemap 指令，可以引导爬虫快速找到网站地图，尤其适合新站或内容更新频繁的站点。

避坑指南与最佳实践

1. 不要用 robots.txt 隐藏敏感信息：它只是建议，恶意爬虫可以忽略。真正的隐私保护应依赖身份验证或服务器配置。
2. 避免误屏蔽 CSS/JS：Google 需要渲染页面，屏蔽资源文件会影响移动友好性和索引质量。
3. 定期测试：使用 Google Search Console 的 robots.txt 测试工具验证规则，确保没有语法错误。
4. 区分大小写：路径和 User-agent 名称区分大小写，写错可能导致规则失效。

掌握 robots.txt 的配置逻辑，不仅能优化爬虫预算，还能避免意外屏蔽重要页面。建议每次修改后都通过官方工具验证，并观察索引覆盖率的变化。