本教程主要针对企业版用户,通过讲解如何管理账号下的云采集节点,优化分配策略,提高采集效率。

 

企业版用户可以在官网的用户中心,查看到当前账号下云节点负载,当多任务并发的时候,可以给紧急的任务多分配一些节点数,提高任务优先级,更合理有效地利用云节点。

 

登录用户中心后,在左侧可以看见【任务和云节点管理】

 

任务管理 

此界面将会显示在客户端配置好的任务,默认选中的是运行中的任务,任务类型中可以更换状态查询该状态下的任务情况。

 

任务名称:任务的名称,可在客户端进行编辑。

子任务数:当前任务可拆分为多少个子任务。

子任务为1时,表示该任务未进行拆分(任务本身不支持拆分或勾选了云采集不拆分)。子任务大于1时表示已进行拆分。云采集之所以可以实现加速,就是将一个任务拆分成多个子任务,然后多个云节点并发执行子任务(一个云节点同一时间只能运行一个子任务)。任务能拆分的子任务数越大,能同时执行云采集的云节点就越多,采集速度相对而言越快。

 

运行子任务数:当前正在采集数据的子任务数。所有任务在运行的子任务数之和小于等于账号节点数。

等待子任务数:还未运行的子任务

完成子任务数:已完成采集的子任务数

采集文件数:当前已采集到的数据量

优先级:数字越小优先级越高,优先级高的越先运行

 

节点占有量:默认为2,可自行更改,当前运行子任务数不会超过此占有量。一般而言,云节点占有量越大采集速度越快。如果我们希望某个任务采集快些,可多分配一些云节点。任务实际能消耗的云节点,需看子任务数,运行子任务数,等待子任务数。

如果任务A的子任务数是3,云节点占有量调成5,那么它最多也只会使用到3个云节点。多余的节点会给其他任务。如果任务B,运行子任务数5,等待子任务数为7。此时希望它运行快些,可调大云节点占有量,此时调整成12即可(云节点占有量<=运行子任务数+等待子任务数),多给了云节点也用不上。

云节点占有量,一经调整,永久有效,直至下次调整。且复制的任务也会保持原任务一样的云节点占有量。

 

操作:点击【修改】,可更改此任务的优先级和云节点占有量。

 

注:客户端内,点击某个的任务的更多操作,选择云采集后再点击分配资源,也可调整该任务的云节点占有量。

 

云节点管理:

可以查看当前云节点的负载情况

 

 

执行任务:与任务管理中正在运行子任务数总和一致,可以看见当前是否有空闲节点,忙为当前云节点正在采集数据。

版本号:当前节点中安装的软件版本

占用内存:当前云节点占用的内存

CPU占有率:当前节点CPU占有率

 

特殊情况说明:

情况一:

有时可能出现所有运行子任务数之和小于账号节点数,云节点管理中查看到有节点是“空闲”状态。虽然已经将所有的云节点都分配出去,并且 等待子任务数+运行子任务数>账号节点数。

实际上节点是已经用满了的。但由于子任务分配节点的时间大于节点完成采集的时间,所以在查询的瞬间会出现节点用不满,有在“空闲”。

举个例子,任务A的每个子任务只需要10秒就可以完成采集,但每个子任务分配上云节点并启动需要花费20秒。故在查询的瞬间就会出在采集的节点少,分配并启动的多。而我们的“运行子任务数”和“执行任务 ‘忙’”,都只是查询并显示正在采集过程中,那类分配并启动中的不会查询到。故看起来像是节点用不满。

 

情况二:

启动云采集后,运行中没有看到这个任务。

1、查看得太快了,任务在启动后,服务器需要先对任务进行预处理,判断能不能拆分,能拆分的执行拆分程序,然后分配云节点来执行子任务。这些过程会耗费些时间,故立马查看在运行中是看不到的,但在待运行里可以看到,稍等一会后就可以在运行中查看到了。

2、查看得太晚了,任务已经完成采集。此时可以在完成中进行查看。