视频说明

本视频为八爪鱼八节课的第6课。主要介绍云采集原理及使用方法含定时采集的设置与云采集规则加速优化方案。

云采集适用版本:旗舰版及以上版本可使用云采集功能

云采集是什么:通过使用八爪鱼提供的云服务器集群进行数据采集,该集群7*24小时工作

★ 可设置定时云采集:可对任务和任务组设置定时云采集,满足定时采集需求
★ 可关机运行:在客户端完成规则配置、任务设置后,提交到云上执行云采集,可关闭软件和电
   脑进行脱机采集,真正实现无人值守
★ 可多节点同时作业:通过云服务器集群的分布式部署方式,多节点同时进行作业,提高采集速
   度,有效避开IP封锁

云采集工作原理:一个任务拆成多个子任务,分配到不同云节点同步执行采集以达到加速采集的效果

任务拆分条件:1、URL列表循环 2、文本列表循环 3、固定元素列表循环

定时采集:可对任务和任务组设置定时云采集,将再规定时间启动采集,可设置每隔一分钟启动一次采集