八爪鱼采集器url循环+文本循环
2018-04-28 17:22:04 阅读量: 15306
视频说明
本视频介绍循环方式中的URL循环和文本循环。
URL循环适用场景:
在多个同类型的网页中,需要采集的字段相同。
例如:
https://movie.douban.com/subject/26387939/
https://movie.douban.com/subject/6311303/
https://movie.douban.com/subject/1578714/
在自定义模式的第一步--输入网址,即可输入多个同类型的网址,
直接手动输入,建议不超过1万条。文件/任务导入和批量生成,则支持100万条。
当输入多个网址时,八爪鱼会自动生成URL循环。
作用:
使用URL循环,云采集时将会自动拆分任务,将加快采集速度,减小被防采被封IP的概率。
对于详情页打开容易出错加载不全的网站,使用URL循环也是绝佳的规避方案。
文本循环适用场景:
网页有提供搜索框(或输入框),并支持输入关键词后点击搜索(不支持只能Enter回车的搜索方式)。
在搜索框中循环输入关键词,采集关键词搜索结果的信息。
作用:
1.在任务中可以一次性存储多个关键词,程序将依次使用每一个关键词,从而批量获取到所需数据。
2.文本循环的方式,在云采集时将支持任务拆分,将加快采集速度,减小被防采被封IP的概率。