robots.txt排查指南：百度和360抓取异常如何定位

核心结论：从规则命中、文件状态、页面标签和服务器拦截四层定位。本文面向网站管理员与开发人员，围绕“robots.txt排查”给出可执行步骤、检查表与验收口径。

robots.txt排查首先要解决什么

对企业网站来说，平台入口、中文问题表达和公开资料的一致性，通常比照搬海外经验更值得优先处理。

从规则命中、文件状态、页面标签和服务器拦截四层定位。实际执行时，建议把任务写进一张检查表：对象是谁、页面在哪里、由谁维护、用什么证据确认，以及什么情况下需要重新检查。这样既方便内部协作，也能避免把一次现象误写成稳定规律。

在内容结构上，可以参考本站的SEO实战指南，但内链只连接真正相关的后续问题，不为了数量重复指向首页或文章标题。

四项关键检查

表格中的每一项都应由实际页面或平台记录支撑。若暂时无法确认，应写明“本次未取得可核验证据”，不要用推测填补空白。对于不同站点、账号和测试入口产生的差异，也应分开记录。

适合企业网站的执行流程

1. 第1步：保存当前规则副本。完成后记录负责人、页面地址与检查日期，不用口头确认代替证据。
2. 第2步：列出核心页面路径。完成后记录负责人、页面地址与检查日期，不用口头确认代替证据。
3. 第3步：逐条判断命中规则。完成后记录负责人、页面地址与检查日期，不用口头确认代替证据。
4. 第4步：检查状态码与访问日志。完成后记录负责人、页面地址与检查日期，不用口头确认代替证据。
5. 第5步：修改后重新抓取验证。完成后记录负责人、页面地址与检查日期，不用口头确认代替证据。

流程执行完成后，至少抽查首页、栏目页、内容页各一个样本，同时覆盖电脑和手机访问。如果涉及豆包、DeepSeek或千问，还要记录是否启用联网搜索、来源是否可见以及测试所用产品入口。

官方资料能够确认的边界

百度官方资料说明了站点验证、链接提交及相关工具的使用边界。

360站长平台公开提供站点验证、数据提交、数据分析、官网认证和移动适配等入口，但未承诺提交即收录。

这些官方信息能够支持工具能力和使用边界，却不能推出“发布后必然收录”“固定时间内被AI引用”或“某项设置具有确定排名权重”。文章、服务方案和监测报告都应保留这一边界。

常见误区

• 用robots删除已经收录的页面。出现这种情况时，应回到原始页面或平台记录重新核验。
• 复制别站规则不核对目录。出现这种情况时，应回到原始页面或平台记录重新核验。
• 把静态资源全部拦截。出现这种情况时，应回到原始页面或平台记录重新核验。

对于没有公开依据的经验判断，正文应明确写成观察或建议，不能包装成平台官方规则。

验收时记录哪些数据

指标用于描述本次执行结果，不等于平台承诺。百分比必须同时给出分子和分母；只有在问题、平台入口、时间窗口和判定规则一致时，前后数据才适合比较。