八爪鱼,百万用户信赖的网络爬虫工具

实用规则排错教程Ⅰ【收藏帖】

作者:keven 发布时间:10/10/2016 7:27:58 PM 10720 人已阅读

摘要:聪明人一定会把教程收藏起来,它可以指导你日后许多规则操作

 

制作规则一直都是各位爪子的痛点,深知你们的苦,小编使用糖衣炮弹+美色诱惑,在软磨硬泡之下终于攻破我们的规则排错大神——Black。Black哥答应来给我们上几期全面最实用的规则排错教程,来指导各位大神自行进行规则排错。

就问你是不是很给力!

甜馨

 

Miko温馨提示,聪明人一定会把教程收藏起来,它可以指导你日后许多规则操作,以后遇到什么规则难题也不必心急,翻出教程自己就可以轻松解决,想想就觉得自己很强大有木有!
第一期课程,我们先从采不到数据漏采数据讲起。


首先。。。

官网详细的图文教程你看了吗?

单机采集出现问题大都是因为规则中某个步骤没有执行,网页加载完全或者步骤的高级选项设置不当。官网中提供了很实用的排错教程,教程中详细说明了在八爪鱼中配置规则时,如何手动执行各步骤进行排查,这个是排错中很重要的一步,这里就不再重复。大家可以直接进入教程中心搜索“规则制作排错教程“哦


规则排错主要思路

在手动执行基本没问题后(说明流程基本没有问题),进行单机采集。然后观察单机采集界面中的网页变化,看网页是否按照每个步骤执行。如果有步骤没有执行,则该步骤出现问题。例如没有点击到详情页,没有循环翻页。重新编辑规则,在规则中对应步骤重新调试。

 


1、 单机运行,采集不到数据?

(1)打开网页后,直接提示采集完成

主要原因:有些网站的加载会很慢,网页还没有完全加载出来,八爪鱼就执行下一个步骤,当八爪鱼找不到相应的位置时,步骤无法执行,最终导致提取不到数据。

解决方法:可以将网页的超时时间加长,或者在下一个步骤设置执行前等待。让网页有足够长的时间加载。

 1

 

(2)网页一直在加载

主要原因:主要是网站的问题,有些网站的加载会很慢。想要采集的数据没有出现。

解决方法:如果当前步骤是打开网页步骤,可以将网页的超时时间加长。如果是点击元素步骤,而且要采集的数据已经加载出来的时候,可以在点击元素步骤设置ajax延时,


(3)网页没有进入采集页面


该问题常常是出现在点击元素步骤。有些网页中含有ajax链接时,根据点击位置判断是否需要设置。如果没有设置,在单机采集时会一直卡在前一个步骤,采集不到数据。

主要原因:当网页为异步加载时,没有设置ajax延时的话,操作一般不会正确执行,导致规则无法进行下一步,提取不到数据。

解决方法:在相应步骤设置ajax延时,一般是2-3S,如果网页加载时间较长,可以适当增加延时时长。点击元素,循环下一页、移动鼠标到元素上,这三个步骤中都有ajax设置 

例子:下图是采集京东网站下的一个手机商品的评论数据,需要点击商品评价,进入相应的评论页面。单机运行时,网页一直卡在评论页面,没有评论数据出现。原因就在于点击元素没有设置ajax延时,导致网页没有进入相应的采集界面。

 

2

3

 

 

2.   单机运行,漏采数据

(1)部分字段没有数据


主要原因:单机采集时,发现有些字段信息为空,这时候就应该找到相应的采集页面,查看想要的采集的数据是否存在,有时并不是每个网页都含有所有字段信息。如果没有,字段为空是正常的。如果有的话,基本就是xpath定位问题,这时需要修改xpath,准确定位到相应字段。

解决方法:重新打开规则,手动执行验证。如需修改xpath,可以找xpath教程。

例子:下图中预约人数和预约时间出现空值,重新打开规则,手动执行,发现,页面是可以采集到数据(图二)。说明这个主要是网页加载问题,可以在下一个步骤前设置等待时长。第二条数据为空,是因为在第二个详情页原本就没有数据,属于正常。


4

5

 

(2)采集数据条数不对


主要原因:采集数据条数不对,一般是循环翻页或者网页加载的问题。有些网页数据需要向下滚动才会加载数据,如果在打开网页时,没有设置足够的向下滚动字数,网页加载出来的数据量也没有手动执行规则时的多。如果翻页不正确,导致一部分页面的数据无法采集。比如出现不规则翻页,导致部分页面没有打开,数据无法采集。
解决方法:如果是翻页问题,修改翻页循环的xpath;如果是网页加载问题,则在打开网页的高级选项中设置滚动次数

例子:在制作规则时,循环选项是80条,而单机采集的时候,只采集了16条。其中主要的原因是网页没有设置向下滚动加载,导致加载的条数变少。

 6

 

 7

 

下一期的课程,我们将推出数据错乱、数据重复、云采集的规则排错教程,欢迎各位爪子前来强势围观。哦还有!发现问题远比解决问题重要,你们在规则制作时曾出现过什么棘手的错误,大声说出来,说不定我们的排错大神Black哥分分钟帮你解决。等着你们!

 

二维码图片


欢迎咨询在线客服
加微信群,与更多用户一起交流