robots.txt写法详解:从入门到避坑的完整指南
📍 WDQWDWQD987AAAAA:216.73.217.61
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /f4839b81dbe0.html
📄
robots.txt 是网站与搜索引擎爬虫沟通的第一道协议,正确的 robots.txt 写法能帮助搜索引擎高效抓取重要页面,避免资源浪费。但写法错误也可能导致整站无法被收录。本文将系统讲解 robots.txt 的写法要点与常见问题。
一、robots.txt 的基本结构
一个标准的 robots.txt 文件由若干条记录组成,每条记录以 User-agent 开头,后跟 Allow 或 Disallow 规则。核心写法如下:
- User-agent:指定规则适用的爬虫,如 Googlebot,使用 * 表示所有爬虫。
- Disallow:禁止抓取的路径,如 Disallow: /admin/。
- Allow:允许抓取的路径,用于在整体禁止中开放特定目录。
- Sitemap:声明站点地图地址,帮助爬虫发现页面。
例如,禁止所有爬虫抓取后台目录,同时开放公开页面:
User-agent: *
Disallow: /admin/
Allow: /public/
Sitemap: https://example.com/sitemap.xml
二、robots.txt 写法的关键规则
- 路径匹配区分大小写,写错大小写会导致规则失效。
- Allow 与 Disallow 冲突时,以更具体的规则为准,长度相同时 Allow 优先。
- 不要用 Disallow 屏蔽 CSS、JS 文件,否则搜索引擎无法渲染页面,影响收录与排名。
- 避免全站禁止:Disallow: / 会阻止所有抓取,除非临时维护,否则慎用。
- 文件必须放在域名根目录,且文件名全小写,只能有一个。
三、常见错误与避坑建议
许多站长在 robots.txt 写法上容易踩坑,例如:误将 Disallow 写成 Dissallow;在规则中使用通配符 * 和 $ 时未确认爬虫支持度;忘记添加 Sitemap 声明。建议上线前使用搜索引擎官方工具测试 robots.txt,确认无误后再提交。
总之,robots.txt 写法并不复杂,但细节决定成败。掌握基本语法,遵循抓取逻辑,定期检查规则,才能让搜索引擎更好地收录网站内容。