【8分钟课堂】增量采集 /补采漏采
2018-08-27 10:46:32 阅读量: 9131
视频说明
本视频介绍增量采集 /补采漏采功能的使用。
增量采集(再次采集时只采未采集过数据)
适用情况:在配置了一个规则任务之后,可能会有这样一种需求:第一次采集所有数据,
后续再采集的时候,只需要采集网页上新增的数据。对于这个需求我们可以用增量采集实现。
适用版本:旗舰版(在云采集上生效)
注意事项:对比的是循环-点击元素-提取数据类规则,点击元素后的网页URL
整个规则中只能出现一个提取数据的步骤,才能进行增量采集
补采漏采
适用情况:采集完成之后有可能会有部分数据采集不成功(例如偶尔网页打不开)。单机采集完成时,
系统检测到有漏采的数据,会弹出一条提示消息,选择yes就会重新进行补采。云采集不会提示,云采集会自动进行补采。
注意事项:整个规则中只能出现一个提取数据的步骤,才能进行补采漏采