先把自动导出当成一次“抽样快照”,而不是全量备份。检查完整性最有效的动作是:用导出文件里的分页字段,反推它应该覆盖的页数区间,再和工具界面或接口返回的总页数、总条数做交叉比对。只要有一边对不上,就说明遗漏可能发生在导出环节,而不是数据本身。
拿到一份自动导出的 CSV 或 JSON 后,不要急着补抓。先看三个字段:页码、每页条数、总条数。如果文件里最大页码乘以每页条数明显小于总条数,基本可以判断是分页截断;如果总条数本身就在两次请求间跳变,那更可能是数据在导出期间发生了增删。
区分这两种情况的意义在于:前者需要调整导出参数,后者需要固定数据快照时间。把两者混在一起,后续补抓会反复出现“补了又缺”的循环。
最直接的动作是提取导出文件中的所有页码,排序后检查是否从 1 连续到预期最大页。假设一份导出预期有 12 页,实际只出现 1–9 页和 11 页,缺失的是第 10 页和第 12 页。这种情况下,遗漏是整页级别的,补抓目标明确。
这一轮检查的结果决定下一步:整页缺失可以直接按页补;条数偏差则要回到每页条数参数上排查。
页码连续不代表内容完整。更细的检查是看每页的首条和末条记录,确认相邻页之间没有重复或跳跃。假设第 3 页末条记录的 ID 是 300,第 4 页首条记录的 ID 是 302,中间缺了 301,这就是页内边界遗漏。
出现边界遗漏时,常见原因是工具在翻页时使用了不稳定的排序字段。此时应改用唯一且稳定的排序键,例如创建时间加 ID,再重新导出并对比。这个动作会直接影响后续补抓方式:如果排序键不稳定,逐页补抓仍会漏,必须先固定排序。
把导出文件的记录数与工具报告的总条数对比,是最快的总量检查。但总量一致也可能是巧合,所以还要做一次抽样:从导出文件中随机取 3–5 条记录,回到工具中逐条查证是否存在、字段是否完整。
假设总量显示 500 条,抽样 5 条中有 1 条在工具中查不到,这说明导出文件可能混入了过期缓存或重复记录。此时不能直接补抓,而要先确认数据源的时间范围。抽样结果影响的是“补抓还是重导”这个决策。
完成上述检查后,把问题归类成三种:整页缺失、边界遗漏、总量偏差。整页缺失按缺失页号补抓;边界遗漏先固定排序键再重导;总量偏差先核对数据时间范围再决定是否重导。
补抓完成后,用同一套检查动作再跑一遍,确认页码连续、边界无跳跃、抽样可查证。只有这三项都通过,才能把这份导出视为完整。具体工具的分页参数名称、导出上限和接口行为需要以你所用工具的当前文档为准,不同工具之间不能直接套用。