本文介绍使用八爪鱼7.0采集美团商家评论数据的方法

采集网站:

http://item.jd.com/11221162.html#comment

 

使用功能点:

l Ajax翻页

l 分页内容提取

 

步骤1:创建采集任务

1)进入主界面,选择“自定义模式”

1

 

2)上面网址的网址复制粘贴到网站输入框中,点击“保存网址

2


 

3)保存网址后,页面将在八爪鱼采集器中打开,红色方框中的评价信息是这次演示要采集的内容

3

 

步骤2:创建翻页循环

l 找到翻页按钮,设置翻页循环

l 设置ajax翻页时间

1)如图,找到翻页按钮,点击后,在右侧操作提示框中,选择更多操作

4

 

2)在右侧操作提示框中,选择循环点击单个链接

5

 

由于页面使用了ajax加载技术,需要对点击元素翻页步骤设置ajax延时加载。在右侧的高级选项框中,勾选Ajax加载数据,选择合适的超时时间,一般设置2秒;最后点击确定

6

 注意:点击右上角的流程按钮即可展现出可视化流程图。

 

步骤3:评论信息采集

l 选中需要采集的字段信息,创建采集列表

l 编辑采集字段名称

1)移动鼠标选中评论框右键点击,如图所示,评论框中数据会被全部选中,变成红色,点击右侧提示中“选中子元素”

7

 

2)评论页中适配的内容会变成绿色,在右侧操作提示框中,查看提取的字段,可以将不需要的字段删除点击右侧“选中全部”

8

 

注意: 鼠标放在提示框中的字段上会出现一个删除标识,点击即可删除该字段。

9

 

3)点击“采集以下数据”

10

 

4)修改采集字段名,并点击下方提示中的“保存并开始采集

11

 

5)根据采集的情况选择合适的采集方式,这里选择启动本地采集

12说明:本地采集占用当前电脑资源进行采集,如果存在采集时间要求或当前电脑无法长时间进行采集可以使用云采集功能,云采集在网络中进行采集,无需当前电脑支持,电脑可以关机,可以设置多个云节点分摊任务,10个节点相当于10台电脑分配任务帮你采集,速度降低为原来的十分之一;采集到的数据可以在云上保存三个月,可以随时进行导出操作。

 

步骤4:数据采集及导出

1)选择合适的导出方式,将采集好的数据导出

13