云采集,设置了同时10个任务,但为什么只有部分任务在采集?
2016-07-27 19:57:30 阅读量: 10075
云节点的机器因为带宽原因加载网页会比大部分单机慢
1.旗舰版只有10个节点,当一个任务能拆分成10份以上,这个任务就占满了10个节点的时候,其他任务都会进入排队状态,
就是看起来只有一个任务在运行,其他任务都取不到数据
2.排队状态的任务也是放在运行中里,虽然你看到在运行中,但实际上还在排队的时间是没有运行的
3.如果你的规则不可拆分而且是需要加载多个页面才能采到一条数据的,比如每加载一个页面比单机多3秒,3个页面就多9秒,
那么取一条数据就会比单机慢9秒,当拆分之后任务分到10个节点都在运行了就会有加速的效果