请输入
菜单

翻页最后一页死循环?一直重复采集最后一页数据怎么办?

重复采集最后一页或几页的数据,一般采用以下方法解决:

方法一:

1) 本地采集,导出数据时会有弹框问您是否导出全部数据,还是只导出有效数据(有效数据指的是去除重复后的数据),您根据自己的需求选择即可;

2) 云采集的数据默认会去除重复数据。

在上述基础之上,我们可以在循环翻页的地方设置翻页的次数。比如一个网页,假设其最大的页数是100页,那么我们设置循环翻页次数为100,让他循环100页即可,因为导出数据和云采集都可以进行去重。

那么如何设置循环翻页的次数呢?参考教程:如何设置循环翻页的次数?

 

方法二:

修改翻页Xpath,使得其在最后一页的时候,定位不到翻页按钮,从而结束翻页。本方法需要掌握一定的Xpath知识,一般都需要查看网页源码,观察前面的翻页和最后一页翻页的源码里面属性值有什么不同,在根据属性值的不同去书写xpath即可,可参考教程:修改翻页XPath实例

其它翻页方法参考教程:数字翻页

上一个
怎么提升采集效率?
下一个
一些数据采集不到?采集数据有空白的解决方案
最近修改: 2023-11-03