Robots.txt 是搜索引擎抓取规则入口。格式错误或规则冲突时，可能让爬虫忽略文件或误执行规则。
可能导致重要页面被误拦截，或低价值页面被大量抓取，影响抓取效率。
抓取规则异常会直接影响哪些页面能被抓、哪些页面该被排除。
问题概览
Robots.txt 是搜索引擎抓取规则入口。格式错误或规则冲突时，可能让爬虫忽略文件或误执行规则。
会造成什么影响
可能导致重要页面被误拦截，或低价值页面被大量抓取，影响抓取效率。
处理优先级
当前问题级别为“严重”。如果它影响页面访问、抓取、索引或核心展示信息，应优先修复后再处理样式、内容扩展等低优先级事项。
为什么会出现
错误与正确示例
插件检测图示
错误示例
User Agent:*
正确示例
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
如何修复
建议修复流程 (WordPress 项目)
- 【规范检查】按照搜索引擎官方规范检查 robots.txt 语法，确保无拼写或格式错误。
- 【屏蔽验证】确认重要目录与资源未被误屏蔽，特别是 wp-content/uploads 等存放内容的目录。
- 【精简规则】对测试目录、后台目录做合理限制，避免浪费抓取预算。
修复后怎么验证
- robots.txt 可正常访问
- 抓取测试工具能正确识别规则
建议验证方式
修复后先用浏览器和检测插件重新确认，再观察搜索引擎抓取、索引或收录表现是否恢复。涉及模板或全站配置的问题，应抽查多种页面类型。
常见问题
robots 禁止抓取等于不收录吗？
不完全等于，但会显著影响搜索引擎获取页面内容。
WordPress SEO合集插件是怎么发现这类问题的？
插件会读取页面 URL、HTTP 状态码、HTML 源码、head 区域、meta 标签、canonical、robots、Sitemap、图片 alt、链接资源、结构化数据等内容，再按检测规则判断当前页面是否存在 SEO 风险。
插件能判断页面正文内容和标题描述是否合理吗？
可以辅助判断。插件会检查 title、description、H1、正文可读内容、重复标题、缺失描述、内容过少等问题，但具体关键词布局和转化文案仍建议结合人工 SEO 策略优化。
检测结果和浏览器看到的页面不一致怎么办？
优先查看页面源代码和插件抓取结果。WordPress 页面可能受缓存、CDN、移动端模板、登录态、JS 渲染或安全插件影响，导致浏览器显示正常但搜索引擎或插件抓取到的内容不完整。
修复后为什么还需要重新检测？
因为 WordPress 常见问题可能来自主题模板、SEO 插件、缓存插件、服务器规则或 CDN 配置。修复后重新检测可以确认页面源码、状态码和关键 SEO 标签已经真正生效。
