【8分钟课堂】云采集规则优化
2018-08-27 10:43:01 阅读量: 6332
视频说明
本视频介绍云采集任务的规则优化,将以实例讲解如果提高采集速度和数据量。
由云采集原理可知,如果要一个任务加速采集的效果,任务要满足拆分条件或者将任务改成满足拆分条件的任务,这样才能达到单任务加速的效果
拆分条件如下:
1、URL列表循环
通过八爪鱼自动拆分任务,将不同的URL拆分成不同的子任务分配给不同的云节点进行数据采集,达到单任务加速的采集效果
2、文本列表循环
文本列表循环,原理和URL循环一致,通过对文本循环的拆分,达到单任务加速采集的效果,从而提升采集速率
3、固定元素列表循环
固定元素列表循环也是满足拆分条件的,但需和循环点击配合一起使用,不然没有明显加速效果