视频说明

本视频介绍循环方式中的URL循环和文本循环。

URL循环适用场景:

在多个同类型的网页中,需要采集的字段相同。

例如:
https://movie.douban.com/subject/26387939/
https://movie.douban.com/subject/6311303/
https://movie.douban.com/subject/1578714/

在自定义模式的第一步--输入网址,即可输入多个同类型的网址,

直接手动输入,建议不超过1万条。文件/任务导入和批量生成,则支持100万条。

当输入多个网址时,八爪鱼会自动生成URL循环。

作用:

使用URL循环,云采集时将会自动拆分任务,将加快采集速度,减小被防采被封IP的概率。

对于详情页打开容易出错加载不全的网站,使用URL循环也是绝佳的规避方案。

 

文本循环适用场景:

网页有提供搜索框(或输入框),并支持输入关键词后点击搜索(不支持只能Enter回车的搜索方式)。

在搜索框中循环输入关键词,采集关键词搜索结果的信息。

作用:

1.在任务中可以一次性存储多个关键词,程序将依次使用每一个关键词,从而批量获取到所需数据。

2.文本循环的方式,在云采集时将支持任务拆分,将加快采集速度,减小被防采被封IP的概率。