视频说明

本视频介绍采集出现重复数据(特指重复最后一页的数据)的解决办法。

适用情况:

要采集的网页,明明已经采完了最后一页的数据,但重复采集最后一页数据,不停止采集。

或者循环点击下一页后不进行翻页,一直在采集某一页的数据。

原因分析:

xpath定位不准,在最后一页还能定位到“下一页”按钮,循环翻页无法结束

解决思路:

修改xpath,使当前页是最后一页时,定位不到“下一页”按钮,而非最后一页时可以定位到“下一页”