百度地图数据采集
2017-08-11 16:10:41 阅读量： 53337
本文介绍使用八爪鱼采集百度地图商家（以上海-火锅商家为例）的方法
采集网站：http://map.baidu.com/
使用功能点：
百度地图：百度地图是为用户提供包括智能路线规划、智能导航（驾车、步行、骑行）、实时路况等出行相关服务的平台。
百度地图商家采集数据说明：本文进行了百度地图商家（以上海-火锅商家为例）的采集。本文仅以“百度地图商家（以上海-火锅商家为例）信息采集”为例，大家在实操过程中，可根据自身需求，更换百度地图的其他内容进行数据采集。
百度地图商家采集详细说明：商家名称，商家评分，商家参考价格，商家所在区域，商家所属类别，商家具体地址，商家联系电话。
步骤1：创建采集任务
1）进入主界面，选择“自定义采集”
2）将要采集的网站URL复制粘贴到输入框中，点击“保存网址”
步骤2：输入采集信息
1）点击页面中的城市选择框，然后在操作提示框中，选择“更多操作”
2）选择“点击该元素”，进入城市选择页面
3）选择想要采集的城市，这里以上海为例。先选中“上海”，然后在操作提示框中，选择“点击该链接”，进入上海地图
4）先点击地图上的输入框，然后在右侧操作提示框中，选择“输入文字”
5）在操作提示框中，输入想要查询的文本。这里输入“火锅”。输入完成后，点击“确定”
6）我们可以看到，“火锅”自动填充到输入框。先点击“搜索”按钮，然后在右侧操作提示框中，选择“点击该按钮”
步骤3：创建翻页循环
1）我们可以看到，页面出现了火锅商家的搜索结果。将结果页面下拉到底部，点击“下一页”按钮。在右侧的操作提示框中，选择“循环点击下一页”，以创建一个翻页循环
步骤4：创建列表循环
1）先选中搜索结果页面的第一条火锅商家的链接，系统会自动识别相似元素，在操作提示框中，选择“选中全部”
2）在操作提示框中，选择“循环点击每个链接”，以创建一个列表循环
步骤5：提取商家信息
1）创建列表循环完成后，系统会自动点击第一条火锅商家链接，进入商家详情页。先点击要采集的字段（这里点击了商家名），然后在操作提示框中，选择“采集该元素的文本”
2）继续点击要采集的字段，选择“采集该元素的文本”。采集的字段会自动添加到上方的数据编辑框中。选中相应的字段，可以进行字段的自定义命名
3）经过以上操作，整个流程图建立完毕。在保存并启动任务之前，我们还需要进行一些高级选项的设置。先选中第1个“点击元素”的步骤，然后打开“高级选项”，勾选“Ajax加载数据”，设置时间为“2秒”，最后点击“确定”
4）第2个“点击元素”步骤、第3个“点击元素”步骤、第4个“点击元素”步骤和点击翻页步骤（如下图红框中所示），均需要勾选“Ajax加载数据”，设置时间为“2秒”，最后点击“确定”
注：Ajax即延时加载、异步更新的一种脚本技术，通过在后台与服务器进行少量数据交换，可以在不更新加载整个网页的情况下，对网页的某部分进行更新。
表现特征：a、点击网页中某个选项时，大部分网站的网址不会改变；b、网页不是完全加载，只是局部进行了数据加载，有所变化。
验证方式：点击操作后，在浏览器中，网址输入栏不会出现加载中的状态或者转圈状态。
5）点击左上角的“保存并启动”，选择“启动本地采集”
步骤6：数据采集及导出
1）采集完成后，会跳出提示，选择“导出数据”。选择“合适的导出方式”，将采集好的数据导出
2）这里我们选择excel作为导出为格式，数据导出后如下图
