第一种解决方案：

建立的基础：因为我们八爪鱼导出数据和云采集都会去重重复

我们可以在循环次数处勾选，例如一个网页，假设其最大的页数是100页，那么我们让他循环就100页即可，因为导出数据和云采集都会自动去除重复

 

 

第二种解决方法

一般网页能点击的下一页html是这样的：<a href='www.baidu.com' class='enabled'>下一页</a>

无法点击的下一页html是这样的：<a href='www.baidu.com' class='disabled'>下一页</a>

然后我们发现，不能点击的下一页的class属性值是含有disable的，所有这时我们的xpath就可以这么写，如下：

//A[contains(@class,'enabled')][contains(text(),'下一页')]  或者//A[not(contains(@class,'disabled'))][contains(text(),'下一页')]

前者的意思是下一页的A标签class属性要求必须是enabled，后者的意思是A标签的class属性值不含有enabled