【8分钟课堂】数据重复-重复采集尾页数据--翻页死循环原因以及解决办法
2018-08-24 16:49:16 阅读量: 8244
视频说明
本视频介绍采集出现重复数据(特指重复最后一页的数据)的解决办法。
适用情况:
要采集的网页,明明已经采完了最后一页的数据,但重复采集最后一页数据,不停止采集。
或者循环点击下一页后不进行翻页,一直在采集某一页的数据。
原因分析:
xpath定位不准,在最后一页还能定位到“下一页”按钮,循环翻页无法结束
解决思路:
修改xpath,使当前页是最后一页时,定位不到“下一页”按钮,而非最后一页时可以定位到“下一页”