视频说明

本视频介绍五大循环方式中的URL循环。

适用场景:

在多个同类型的网页中,需要采集的字段相同。

例如:
https://movie.douban.com/subject/26387939/
https://movie.douban.com/subject/6311303/
https://movie.douban.com/subject/1578714/

在自定义模式的第一步--输入网址,即可输入多个同类型的网址,

直接手动输入,建议不超过1万条。文件/任务导入和批量生成,则支持100万条。

当输入多个网址时,八爪鱼会自动生成URL循环。

作用:

使用URL循环,云采集时将会自动拆分任务,将加快采集速度,减小被防采被封IP的概率。

对于详情页打开容易出错加载不全的网站,使用URL循环也是绝佳的规避方案。