网页数据采集完成时,不会跳出翻页,一直重复翻页采集(翻页死循环)
2016-07-28 21:05:46 阅读量: 15854
网页数据采集完成时,不会跳出翻页,一直重复翻页采集,不会停止次采集任务的采集翻页问题,我们叫做翻页死循环,针对此种情况,我们有两种解决办法。
1) 设定循环次数
在循环次数处设置需要的循环次数,假如一个网页最大的页数是100页,那么我们让其循环100次即可。如果有重复数据,导出数据和云采集均可自动去重
2) 修改翻页xpath
找出最后一页与前几页网页源码的不同,由此生成在前几页可定位到翻页按钮,而在最后一页不能定位到翻页按钮的xpath
具体步骤可以参考 特殊翻页——翻页死循环教程 进行操作