美团商家信息采集
2017-08-17 10:45:50 阅读量: 112578
本文介绍使用八爪鱼7.0采集美团商家数据的方法(以深圳美食店铺为例)。
采集网站:
http://sz.meituan.com/category/yuegangcai/nanshanqu?mtt=1.index%2Fdefault%2Fpoi.0.0.j6cxwtlv
美团网:主要包括美食攻略,外卖网上订餐,酒店预订,旅游团购,飞机票火车票,ktv团购等信息,是一家集店铺信息查询,商家评分/评价的一站式生活服务网站。
数据说明:本文进行了美团网-美食粤港菜-深圳南山分类下的所有店铺信息采集。
本文仅以“美团网-美食粤港菜-深圳南山分类下的所有店铺信息采集”为例。大家在实操过程中,可根据自身需求,更换美团网的分类和字段进行数据采集。
详细字段说明:商家名称,商家类别,商家地址,商家评价人数,商家价格,商家人均价格
使用功能点:
l Ajax滚动加载设置
l 分页列表内容提取
步骤1:创建采集任务
进入主界面选择,选择自定义模式
将上面网址的网址复制粘贴到网站输入框中,点击“保存网址”
保存网址后,页面将在八爪鱼采集器中打开,红色方框中的信息是这次演示要采集的内容
步骤2:设置ajax页面加载时间
l 设置打开网页步骤的ajax滚动加载时间
l 找到翻页按钮,设置翻页循环
l 设置翻页步骤ajax下拉加载时间
在页面打开后,当下拉页面时,会发现页面有新的数据在进行加载
所以需要进行以下设置:打开流程图,点击“打开网页”步骤,在右侧的高级选项框中,勾选“页面加载完成向下滚动”,设置滚动次数,每次滚动间隔时间,一般设置2秒,这个页面的滚动方式,选择“直接滚动到底部”;最后点击确定
注意:这里的滚动次数、间隔及方式需要针对采集的网站进行设置,测试方法可以参考八爪鱼7.0教程——AJAX滚动教程
将页面下拉到底部,找到下一页按钮,鼠标点击,在右侧操作提示框中,选择“循环点击下一页”
由于页面使用了ajax加载技术,当采集时候,网站总需要重新加载,所以对翻页步骤需进行上面打开网页步骤中的设置
步骤3:商家信息采集
l 选中需要采集的字段信息,创建数据提取采集列表
l 编辑采集字段名称
如图,移动鼠标选中列表中商家的名称,右键点击,需采集的内容会变成绿色
移动鼠标选中红色方框里任意文本字段后,列表中所有适配内容会变成绿色,在右侧操作提示框中,查看提取的字段,可以将不需要的字段删除,然后点击“选中全部”
注意: 鼠标放在提示框中的字段上会出现一个删除标识,点击即可删除该字段。
点击“采集以下数据”
修改采集字段名,并点击下方提示中的“保存并开始采集”
步骤4:数据采集及导出
根据采集的情况选择合适的采集方式,这里选择“启动本地采集”
说明:本地采集占用当前电脑资源进行采集,如果存在采集时间要求或当前电脑无法长时间进行采集可以使用云采集功能,云采集在网络中进行采集,无需当前电脑支持,电脑可以关机,可以设置多个云节点分摊任务,10个节点相当于10台电脑分配任务帮你采集,速度降低为原来的十分之一;采集到的数据可以在云上保存三个月,可以随时进行导出操作。
采集完成后,选择合适的导出方式,将采集好的数据导出
相关采集教程:
八爪鱼实战教程——大众点评商家信息采集视频教程 |
大众点评商家数据采集 |
百度地图商家信息采集 |
大众点评商家数据采集——分页详情页面 |
百姓网商家信息采集 |
如何使用八爪鱼采集器采集亚马逊买家评论 |