死链扫描工具：批量页面只有一部分被发现时怎样划分对照组
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /c2c62602eec3.html
📄
死链扫描工具：批量页面只有一部分被发现时怎样划分对照组
先给结论：当死链扫描工具只发现了一部分页面时，不要急着扩大扫描范围，而要把“已发现”和“未发现”拆成两组，再各自补一个可核对的对照条件。对照组的作用不是证明工具漏报，而是帮你判断差异来自抓取路径、链接入口还是页面本身的状态。下面用一个假设情境把决策过程写清楚。
先固定一个假设情境，避免角色各说各话
假设你负责一个内容站点，站内有约两千个详情页，其中一批是从列表页分页进入的，另一批只从站内搜索或标签聚合页进入。你用死链扫描工具跑完一轮，结果只报出三百多个页面，运营说“至少有一千个页面有链接”，开发说“工具没爬到而已”。这时分歧的焦点不是谁对，而是两批页面的入口条件不同。
把分歧转成可核对的项目，第一步是定义两个组：组A是扫描结果中已出现的页面，组B是同一批业务页面中未被扫描结果覆盖的页面。两组必须来自同一个页面集合，比如同一栏目、同一模板、同一发布批次，否则对照没有意义。
按入口来源划分对照组，而不是按页面数量
划分对照组时，优先看链接入口，而不是看页面总数。常见可区分的入口有三类：
- 从列表页或分页链接直接可达；
- 只从站内搜索、标签页或筛选参数进入；
- 只在站点地图或内部推荐模块中出现，但没有普通锚文本链接。
如果组A集中在第一类，组B集中在第二类和第三类，那么差异更可能来自抓取路径，而不是页面本身失效。此时下一步动作是：从组B中抽一小批页面，手动检查它们是否真的有可点击入口、入口是否返回正常状态码、入口链接是否被脚本延迟渲染。这个动作的结果会直接影响你是否需要调整扫描工具的抓取方式，而不是直接去修页面。
用状态码和可访问性做二次对照，区分“没发现”和“已失效”
死链扫描工具报出的结果通常混合了不同状态。划分对照组后，要对两组分别记录两类证据：
- 被抓取到的响应状态：是正常、重定向、客户端错误还是服务端错误；
- 人工复核时的可见内容：页面是否显示正常内容、是否提示不存在、是否跳转到其他页面。
如果组B中大量页面人工访问正常，但扫描工具从未请求过，那么问题在发现机制；如果组B中大量页面人工访问也返回错误，那么问题在页面或链接本身。这两种结论对应完全不同的下一步：前者要补入口或调整抓取范围，后者要进入修复流程。
这里要避免一个常见误判：站点地图里列出了某个页面，不等于它一定会被抓取和收录；反过来，扫描工具没报错，也不等于页面一定健康。两者只能作为对照证据，不能互相替代。
把分歧转成可核对的项目：一张最小对照表
为了让运营、开发和SEO对同一事实有共同理解，可以只维护一张最小对照表，字段包括：页面分组、入口来源、扫描是否发现、人工访问结果、下一步动作。假设组A有120个页面，组B有80个页面，其中组B有60个页面人工访问正常但扫描未发现，那么可以初步判断发现机制存在覆盖缺口；如果组B有50个页面人工访问也返回错误，则应优先处理这批页面。
这个判断仍然只是假设，需要再用另一批同类页面验证。验证动作是：换一个入口来源重复同样的分组，看结果是否一致。如果两次结果都指向入口差异，就可以把“补入口”作为下一步；如果两次结果都指向页面错误，就把“修页面”作为下一步。
划分对照组时最容易忽略的适用条件
对照组只在页面集合、模板和发布时段可比时成立。如果组A来自旧模板，组B来自新模板，那么差异可能来自模板改动，而不是死链扫描工具本身。此时应先按模板再分组，而不是按发现与否直接分组。
另外，robots.txt 的抓取限制不等于可靠的索引移除，它只影响抓取行为，不能用来解释所有未发现现象。不同搜索引擎对同一批页面的处理也可能不同，所以对照结论只对当前扫描配置和当前入口条件成立，换工具或换抓取范围后需要重新核对。
最后，如果组B中有一部分页面确实无法访问，先修复这些页面，再重新跑一轮扫描，用新一轮的组A和组B对比入口覆盖是否改善。这个动作的结果会告诉你，前面的分组假设是否站得住，以及下一步该继续补入口还是回到页面修复。
