云采集原理、云采集规则加速
2018-06-08 16:07:12 阅读量: 9780
视频说明
本视频介绍云采集原理,定时采集的设置方法以及云采集规则优化。
云采集适用版本:旗舰版及以上版本可使用云采集功能
云采集是什么:通过使用八爪鱼提供的云服务器集群进行数据采集,该集群7*24小时工作
★ 可设置定时云采集:可对任务和任务组设置定时云采集,满足定时采集需求
★ 可关机运行:在客户端完成规则配置、任务设置后,提交到云上执行云采集,可关闭软件和电
脑进行脱机采集,真正实现无人值守
★ 可多节点同时作业:通过云服务器集群的分布式部署方式,多节点同时进行作业,提高采集速
度,有效避开IP封锁
云采集工作原理:一个任务拆成多个子任务,分配到不同云节点同步执行采集以达到加速采集的效果
任务拆分条件:1、URL列表循环 2、文本列表循环 3、固定元素列表循环
定时采集:可对任务和任务组设置定时云采集,将再规定时间启动采集,可设置每隔一分钟启动一次采集。