【8分钟课堂】URL循环
2018-08-24 16:23:27 阅读量: 9454
视频说明
本视频介绍五大循环方式中的URL循环。
适用场景:
在多个同类型的网页中,需要采集的字段相同。
例如:
https://movie.douban.com/subject/26387939/
https://movie.douban.com/subject/6311303/
https://movie.douban.com/subject/1578714/
在自定义模式的第一步--输入网址,即可输入多个同类型的网址,
直接手动输入,建议不超过1万条。文件/任务导入和批量生成,则支持100万条。
当输入多个网址时,八爪鱼会自动生成URL循环。
作用:
使用URL循环,云采集时将会自动拆分任务,将加快采集速度,减小被防采被封IP的概率。
对于详情页打开容易出错加载不全的网站,使用URL循环也是绝佳的规避方案。