自动外链工具：一次全站扫描被中断后怎样判断已覆盖范围
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /376e0ca94c38.html
📄
自动外链工具：一次全站扫描被中断后怎样判断已覆盖范围
先看扫描是否留下了可续跑的进度文件或批次日志，再决定保留、改写还是退出。如果工具只输出一个总数而没有分页或分域记录，中断后的“已覆盖范围”无法可靠还原，此时应把这次结果当作线索而不是底稿。
中断类型决定你该保留什么
扫描中断大致分三种：进程被手动终止、网络或目标站点返回错误、工具自身达到运行上限。三者的残留信息不同，处理方式也不同。
- 手动终止：通常已写入的批次记录完整，但最后一批可能只写了一半。保留已完成批次，重跑时从下一批开始。
- 网络或站点错误：失败点之后的页面未必真的没有外链，只是没被读到。这类缺口不能算作“无外链”，需要单独标记。
- 达到运行上限：覆盖范围由上限决定，而不是由站点结构决定。此时保留结果意义有限，应改写任务拆分方式。
判断依据不是中断提示本身，而是看有没有batch_id、时间戳、已处理 URL 列表这类可核对的痕迹。只有总数没有批次，就无法区分“没扫到”和“扫到但没外链”。
用抽样回扫验证覆盖边界
假设一次扫描计划覆盖 5000 个页面，中断时日志显示处理到第 3200 条，但中间有若干批次标记为失败。可以按下面步骤核对：
- 从已标记成功的批次里随机抽 20 个 URL，用同一工具单独重扫，确认结果与批次记录一致。
- 从标记失败的批次里抽 20 个 URL，同样单独重扫，看是否本来就有外链。如果有，说明失败批次是缺口而非空值。
- 对比两次结果，估算失败批次中真正含外链的比例，再决定是否值得补跑。
这个动作的结果直接影响下一步：如果失败批次里外链比例低，补跑成本可能高于收益，可以退出这次任务，改用按目录分批的小范围扫描；如果比例高，就保留已有结果并只补跑失败批次。
多个角色对“覆盖了多少”理解不同时怎么办
同一份中断日志，技术角色看的是“处理了多少条记录”，运营角色看的是“覆盖了多少个栏目”，负责人看的是“能不能据此下结论”。分歧往往来自各自默认的统计口径不同。
把分歧转成可核对项目的做法是：先统一口径，再各自确认。可以列出三个字段——计划范围、已处理范围、已验证范围，让每个角色分别填写自己认为的数值，然后对照日志逐项核对。差异最大的那一项，通常就是真正需要补跑或重新定义的部分。
如果三方对“已验证范围”的估计差距超过一半，说明这次扫描的中间记录不足以支撑任何结论，保留结果的价值很低，退出并重新设计分批策略更划算。
保留、改写还是退出的取舍条件
三种选择各有适用前提，不必强求统一。
- 保留：适用于成功批次占比高、失败批次可枚举、且失败原因与页面本身无关的情况。此时保留结果，只补跑失败部分即可。
- 改写：适用于扫描范围过大、单次运行必然中断的情况。把全站拆成按栏目或按 URL 前缀的多个小任务，每个任务单独记录进度，中断影响就被限制在单个任务内。
- 退出：适用于工具只给汇总数字、没有批次记录，或者中断原因无法复现的情况。此时继续在同一份结果上加工，只会把不确定性传递到后续判断里。
需要说明的是，具体工具是否提供进度文件、断点续跑或分批导出，取决于该工具的当前版本和配置，这些信息需要以实际界面和文档为准，不能凭名称推断。
把判断结果落到下一次任务
无论这次选择哪种处理方式，都应把结论写进下一次任务的配置里：如果决定改写，就明确新的分批粒度和每批的完成判定条件；如果决定退出，就记录退出原因，避免下次重复同样的中断。
一个可操作的习惯是，在任务开始前先手动跑一个小范围样本，确认工具能输出可核对的批次记录，再放大到全站。这样即使中途中断，你手里也始终有一份边界清晰的已覆盖清单。
