视频说明

本视频介绍云采集任务的规则优化,将以实例讲解如果提高采集速度和数据量。

由云采集原理可知,如果要一个任务加速采集的效果,任务要满足拆分条件或者将任务改成满足拆分条件的任务,这样才能达到单任务加速的效果

拆分条件如下:

1、URL列表循环

通过八爪鱼自动拆分任务,将不同的URL拆分成不同的子任务分配给不同的云节点进行数据采集,达到单任务加速的采集效果

2、文本列表循环

文本列表循环,原理和URL循环一致,通过对文本循环的拆分,达到单任务加速采集的效果,从而提升采集速率

3、固定元素列表循环

固定元素列表循环也是满足拆分条件的,但需和循环点击配合一起使用,不然没有明显加速效果