京东采集正确姿势学起来!
小明:老板让我输出一份用户购买评价分析报告,愁死我了!
小王:这有什么好愁的?
小明:又不会编程,哪里给他弄数据去呢?
小王:给你推荐一款数据采集工具——八爪鱼。
小明:有用么,你别骗我哦!
小王:上手简单,数据采集速度快,不信你试试!?
今天干货奉上——如何使用八爪鱼采集京东评价信息!
一、创建采集任务
现在进入数据采集时间,本文使用的是八爪鱼采集器7.0.1版。
打开八爪鱼7.0.1版,界面上有三种采集模式可以选择。
进入主界面选择,选择自定义模式
将上面网址的网址复制粘贴到网站输入框中,点击“保存网址”
保存网址后,页面将在八爪鱼采集器中打开,红色方框中的评价信息是这次演示要采集的内容
二、创建翻页循环
找到商品评论列表
找到翻页按钮,设置翻页循环
设置ajax翻页时间
在商品页中,找到“商品评论”,鼠标点击,在右侧操作提示框中,选择“点击该链接”
将页面下拉到底部,找到下一页按钮,鼠标点击,在右侧操作提示框中,选择“循环点击下一页”
由于页面使用了ajax加载技术,需要对点击元素及翻页步骤设置ajax延时加载(ajax判断方法:打开流程图,找到翻页循环框,手动执行翻页,看网站有没有进行加载)在右侧的高级选项框中,勾选Ajax加载数据,选择合适的超时时间,一般设置2秒;最后点击确定
注意:点击右上角的“流程”按钮,即可展现出可视化流程图。
三、评论信息采集
选中需要采集的字段信息,创建采集列表
编辑采集字段名称
移动鼠标选中评论框,右键点击,如图所示,评论框中数据会被全部选中,变成红色,点击右侧提示中“选中子元素”
评论页中适配的内容会变成绿色,在右侧操作提示框中,查看提取的字段,可以将不需要的字段删除,
点击右侧“选中全部”
注意: 鼠标放在提示框中的字段上会出现一个删除标识,点击即可删除该字段。
点击“采集以下数据”
修改采集字段名,并点击下方提示中的“保存并开始采集”
根据采集的情况选择合适的采集方式,这里选择“启动本地采集”
说明:本地采集占用当前电脑资源进行采集,如果存在采集时间要求或当前电脑无法长时间进行采集可以使用云采集功能,云采集在网络中进行采集,无需当前电脑支持,电脑可以关机,可以设置多个云节点分摊任务,10个节点相当于10台电脑分配任务帮你采集,速度降低为原来的十分之一;采集到的数据可以在云上保存三个月,可以随时进行导出操作。
四、数据采集及导出
采集完成后,会跳出提示,选择“导出数据”,选择合适的导出方式,将采集好的数据导出
服务提示