网站死链查询：批量问题怎样抽样定位？先按入口分层再抽检
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /2575dd1ef9a4.html
📄
网站死链查询：批量问题怎样抽样定位？先按入口分层再抽检
批量死链不要全站逐条打开，也不要只看首页。正确做法是先按入口来源把链接分成导航、正文、站点地图、外链等层，再对每层按固定间隔抽样，先确认死链集中在哪一层，再决定扩大检查范围。抽样只能定位问题分布，不能证明全站没有死链；要得到完整清单，仍需在抽样确认问题层后对该层做全量抓取。
常见误解：抽查几页没报错，就以为全站没有死链
很多人用浏览器随手点开首页、栏目页和几篇文章，没有出现404，就判断网站没有死链。这个判断不成立，原因有三个：
- 死链往往藏在旧文章正文、分页、筛选参数和已下架产品的链接里，这些页面不会被首页入口覆盖。
- 服务器对不存在的地址可能返回200状态码加错误提示页，浏览器看起来正常，抓取工具却会把它记为可访问页面，真正的死链因此被掩盖。
- 同一批链接在不同入口下的可达性不同，导航里的链接可能正常，正文里的旧链接已经失效。
所以批量问题的关键不是“抽几页看看”，而是先分层，再让抽样结果能代表某一层。
第一步：按入口来源分层，而不是按页面顺序抽
把待查链接按来源分成几层，每层的判断价值不同：
- 全局导航与页脚：数量少，一旦出错影响面大，适合全量检查，不必抽样。
- 文章正文内链：数量最多，是死链高发区，适合抽样。
- 站点地图中的地址：站点地图只表示你希望被抓取，不保证收录，也不保证地址有效，适合全量校验状态码。
- 外部网站指向本站的链接：无法从站内入口发现，需要借助搜索控制台类工具或服务器日志，适合按时间抽样。
分层之后，抽样才有意义：如果导航层全量检查正常，而正文层抽样出现较多404，就应该优先全量抓取正文层，而不是继续扩大首页抽检。
第二步：确定抽样间隔与样本量
抽样间隔可按链接总量决定，下面是一个可执行的假设例子：
假设某站正文内链共4000条，先按每50条抽1条，得到80个样本。用抓取工具批量请求这80个地址，记录状态码。若404或410的比例超过5%，说明该层问题较集中，应改为全量抓取；若比例低于1%，可以先记录，再换一个时间点重抽一次，确认不是偶发。
判断结果时注意：
- 404和410表示地址不存在，属于明确死链。
- 301和302是跳转，不算死链，但要检查跳转目标是否有效，避免跳转链末端仍是404。
- 403和429可能是抓取被限制或请求过频，不能直接当作死链，需要降低频率后复测。
- 200但内容为错误提示页，需要结合页面标题和正文判断，不能只看状态码。
第三步：两种处理方案的适用条件
抽样定位后，通常面对两种处理方案，选择依据是问题集中度和站点规模：
- 方案一：只修抽样确认的问题链接。适用条件是死链比例低、集中在少量旧文章，且站点更新频率低。优点是改动小、风险低；缺点是可能遗漏同一批旧内容里的其他死链。
- 方案二：对问题层全量抓取后统一修复。适用条件是抽样比例超过设定阈值，或站点长期未做链接维护。优点是覆盖完整；缺点是需要处理抓取频率、服务器压力和跳转链判断。
如果站点有大量参数化地址或分页，全量抓取前应先确认抓取范围，避免把同一内容的多个参数版本重复计入，导致样本失真。
需要区分的几件事
robots.txt 的抓取限制不等于可靠的索引移除，它只约束抓取行为，不能代替死链修复。站点地图不保证收录。HTTPS 不保证安全无漏洞或排名。不同搜索引擎对状态码和跳转的处理方式不同，涉及具体搜索引擎时须分别核查其官方文档，不要用一套结论套用所有平台。
下一步：先导出最近一次站点地图中的地址列表，按导航、正文、站点地图三层各抽20条，用抓取工具记录状态码，再根据404比例决定是否对正文层做全量检查。
