请输入
菜单

云采集为什么比本地采集还慢?

云采集是靠拆分任务加速的,一个任务拆分成多个子任务,分到不同的云服务器上同时运行采集数据,再回收每个云服务器上的数据传到数据库中。云采集慢的原因主要有以下几个:
1)任务没有被拆分;
2)任务本地采集就很快,规则较简单(比如循环打开url,然后采集数据)
3)同时运行多个云采集任务,云节点不够,团队版16个云节点;
4)规则的设置会影响采集的速度;是不是有时候觉得云采集不快?仔细看教程,采集提速,你也可以学会!
云采集要想快,必须满足两个条件(大家可以把这个保存下来以后每次先对照)
1、你自己没有其他云采集任务把分配给你的云节点资源耗尽。例如没有任何其他任务在采集,如果有一个任务在进行云采集,也有可能占满所有的云节点。
2、在确保第一点满足的情况下,当前云采集的任务还必须要能拆分,能否拆分如何判断呢:任务中有循环URL列表,循环固定元素列表,循环关键词列表的都可以拆分,其他都不可以。注意:如果你的任务有登录账号密码的,请在任务“设置”中选择“云采集不拆分”,否则有可能登录失败导致采集不到数据。企业版和团队版采集速度的快慢,道理都一样,影响快慢的根本因素只有两点:1)目标网站打开网页的速度快不快;2)你的采集规则设置的好不好。不管是本地采集还是云采集,都可以参考这个教程设置,加快采集速度:https://www.bazhuayu.com/tutorial8/81ycjyl云采集原理和规则加速设置

上一个
制作规则和手动执行时有数据,但本地采集和云采集均无数据?
下一个
如何分配任务节点?
最近修改: 2023-11-02