有的网页没有下一页按钮，但是有【加载更多】或【再显示20条】等按钮，通过不断点击这些按钮，可以实现翻页，加载出新数据。

像 搜狗微信首页 、微博评论 等页面都是这种情况。

 

针对这类网页，使用智能识别和自行配置的采集规则，都能实现翻页，具体设置方法如下：

 

 

1、智能识别实现【点击加载更多翻页】

示例网址如：https://weixin.sogou.com/

 

 

八爪鱼的智能识别，支持【加载更多内容】这种翻页的智能识别，如下图所示：

 

在 新手入门第8课：采集原理与流程执行逻辑 中，我们讲过，流程的执行逻辑是先从上至下、再由内而外。那上图中的流程的执行逻辑是：先打开网页，然后不断点击【加载更多内容】进行翻页，翻页全部完成以后，再提取所有列表数据。

 

这里有一个问题，如果网页【加载更多内容】这个按钮是可以无限点击的，那八爪鱼就会一直点击它，容易导致程序崩溃，采集不到数据。因此，我们可以设置一定的点击次数，让八爪鱼执行设置的翻页次数后，就开始采集数据。建议点击次数不超过500次，具体可根据网页情况和采集需求来。

 

本示例中的网站，我们观察后发现，它是在点击5次【加载更多内容】后就到底了，不再出现新内容了，因此，我们可以将它的翻页次数设为5，设置方法如下图所示：

 

 

启动本地采集，来看一下采集结果：八爪鱼先点击了5次【加载更多内容】，到达底部，此时页面中有100个文章列表。随后，八爪鱼将这100个文章列表的数据都采集下来了。

 

 

2、自己配置采集流程实现【点击加载更多翻页】

如果不用智能识别 ，可自己配置采集流程。

 

按照 第6课：翻页以采集多页数据  中的方法，配置一个【循环翻页】，再按 采集列表数据 中的方法，配置一个【循环列表】。

 

 

八爪鱼自动生成的流程不符合此网页的采集情况，我们需要手动调整一下：按住【循环列表】步骤，将其拖入到【循环翻页】后面。

为何要这么调整，上文已详细说明。

 

同样的，我们根据网页情况，设置合适的翻页次数：

 

 

我们还发现，自动生成的列表XPath：//BODY[@id="loginWrap"]/DIV[4]/DIV[1]/DIV[3]/UL[1]/LI有点问题，只能定位到前20个文章列表。修改为//BODY[@id="loginWrap"]/DIV[4]/DIV[1]/DIV[3]/UL/LI后就可以定位到全部文章列表了。为什么要这么修改？请查看XPath教程。

 

 

特别说明：

a. 八爪鱼在导出数据时，支持数据去重。如果不介意采集过程中有重复数据，也可不调整流程逻辑。

 

作者：Bin

编辑：Aisling