视频说明

本视频介绍任务运行时出现重复采集某几页的数据如何解决。

现象:

采集结果出现重复,在翻看数据后发现是重复了采集网页中某几页的数据。例如,重复采集一二页的数据。

原因分析:

网页中有上一页按钮,也有下一页按钮,xpath定位不准,在某一页会定位到上一页按钮,导致重复采集某几页数据

解决思路:

修改xpath,使在当前页(末页除外),只能定位到下一页按钮。