请输入
菜单

本地采集数据比较慢?

本地采集速度非常慢,则考虑以下几点:

A.网页本身是ajax加载,但流程中未勾选上ajax加载数据,解决方法是勾选上ajax加载数据,设置超时时间,时间推荐5-10s。

B.规则流程中有较多的点击元素步骤,可在点击元素及翻页步骤勾选ajax加载数据,设置超时时间,时间推荐5-10s。

C.网页加载大量图片,若不需要图片信息,可选择禁止浏览器加载图片。

D.执行前等待时间设置过长,应适当减小时间。

E.网页本身加载比较慢(如国外网站),网速比较慢,带宽太小。

F.电脑本身配置比较低。

G.网站响应不及时,响应迟缓。

建议使用云采集或者本地加速
1、先云采集通过云服务器集群的分布式部署方式,多节点同时进行作业,可以提高采集效率,云采集是靠拆分任务加速的,一个任务拆分成多个子任务,分到不同的云服务器上同时运行采集数据,再回收每个云服务器上的数据传到数据库中
2、或者使用本地加速,本地加速任务数,增加您的本地加速任务运行数量
购买链接:https://www.bazhuayu.com/console/pay-custom-bag?type=localacceleration

上一个
提取到的数据有重复数据?
下一个
网站总数据有300页,但只显示50页如何处理?
最近修改: 2023-10-31