【8分钟课堂】特殊翻页-采集时页面出现“加载更多”等按钮时解决方法
2018-08-24 16:44:09 阅读量: 6389
视频说明
本视频介绍页面通过“加载更多”,“再显示20条”等方式来展现更多数据的处理方法。
适用情况:
要采集的网页中,有“加载更多”或“再显示20条”等按钮,点击这些按钮之后需要采集的数据才会完全显示出来。
解决思路:
按照常规操作,创建翻页循环,然后将循环翻页步骤拖到循环-提取数据步骤前,让所有翻页完成之后,再进行循环提取数据步骤,不然会很多重复数据。
循环翻页的点击按钮一般是ajax加载,即点击翻页的高级选项需勾选ajax,并设置超时时间(时间长短根据数据加载快慢设置),不要勾选新标签。