重复采集最后一页或几页的数据,一般采用以下方法解决:
方法一:
1) 本地采集,导出数据时会有弹框问您是否导出全部数据,还是只导出有效数据(有效数据指的是去除重复后的数据),您根据自己的需求选择即可;
2) 云采集的数据默认会去除重复数据。
在上述基础之上,我们可以在循环翻页的地方设置翻页的次数。比如一个网页,假设其最大的页数是100页,那么我们设置循环翻页次数为100,让他循环100页即可,因为导出数据和云采集都可以进行去重。
那么如何设置循环翻页的次数呢?参考教程:如何设置循环翻页的次数?
方法二:
修改翻页Xpath,使得其在最后一页的时候,定位不到翻页按钮,从而结束翻页。本方法需要掌握一定的Xpath知识,一般都需要查看网页源码,观察前面的翻页和最后一页翻页的源码里面属性值有什么不同,在根据属性值的不同去书写xpath即可,可参考教程:修改翻页XPath实例
其它翻页方法参考教程:数字翻页