本文介绍使用八爪鱼采集百度地图数据(以上海-建设银行为例)的方法

采集网站:http://map.baidu.com/

 

百度地图:百度地图是为用户提供包括智能路线规划、智能导航(驾车、步行、骑行)、实时路况等出行相关服务的平台。八爪鱼可采集百度地图上的各种信息。

 

数据说明:本文在百度地图中,选择城市为上海,搜索“建设”银行,然后点击搜索按钮,采集出现的搜索结果中的银行信息。

本文仅为一个示例,大家在实际操作过程中,可选择自己需要的城市,更换关键词,进行数据采集。

 

具体字段:百度地图银行名称、百度地图银行地址。

 

使用功能点:

文本循环教程

Ajax点击和加载

列表及详细信息采集

 

步骤1:创建采集任务

1)进入主界面,选择“自定义采集”

百度地图银行信息采集图1

2)要采集网站URL制粘贴到输入框中,点击“保存网址

百度地图银行信息采集图2

 

步骤2:输入采集信息

1)点击页面中的城市选择框,然后在操作提示框中,选择“更多操作”

百度地图银行信息采集图3

2)选择“点击该元素”,进入城市选择页面

百度地图银行信息采集图4

3)选择想要采集的城市,这里以上海为例。先选中“上海”,然后在操作提示框中,选择“点击该链接”,进入上海地图

百度地图银行信息采集图5

4)先点击地图上的输入框,然后在右侧操作提示框中,选择“输入文字”

百度地图银行信息采集图6

 

5)在操作框提示中,输入想要查询的文本。这里输入“建设银行”。输入完成后,点击“确定”

 

百度地图银行信息采集图7

6)“建设银行”自动填充到输入框。先点击“搜索”按钮,然后在右侧操作提示框中,选择“点击该按钮”

百度地图银行信息采集图8

 

步骤3:创建翻页循环

1)我们可以看到,页面出现了建设银行的搜索结果。结果页面下拉到底部,点击“下一页”按钮。在右侧操作提示框中,选择循环点击下一页以创建一个翻页循环

百度地图银行信息采集图9

 

步骤4:创建列表循环

1)先选中搜索结果页面的第一条银行信息的链接,系统会自动识别相似元素,在操作提示框中,选择“选中全部”

百度地图银行信息采集图10

2)在操作提示框中,选择“循环点击每个链接”,以创建一个列表循环

百度地图银行信息采集图11

 

步骤5:提取银行信息

1)创建列表循环完成后,系统会自动点击第一条银行信息链接,进入银行详细信息页。先点击要采集的字段(这里点击了银行名),然后在操作提示框中,选择“采集该元素的文本”

百度地图银行信息采集图12

 

2)继续点击要采集的字段,选择“采集该元素的文本”采集的字段会自动添加到上方的数据编辑框中选中相应的字段,可以进行字段的自定义命名

 

3)经过以上操作,整个流程图建立完毕。在保存并启动任务之前,我们还需要进行一些高级选项的设置。先选中第1个“点击元素”的步骤,然后打开“高级选项”,勾选“Ajax加载数据”,设置时间为“2秒”,最后点击“确定”

百度地图银行信息采集图14

4)第2个“点击元素”步骤、第3个“点击元素”步骤、第4个“点击元素”步骤和点击翻页步骤(如下图红框中所示),均需要勾选“Ajax加载数据”,设置时间为“2秒”,最后点击“确定”

百度地图银行信息采集图15

 

注:Ajax即延时加载、异步更新的一种脚本技术,通过在后台与服务器进行少量数据交换,可以在不更新加载整个网页的情况下,对网页的某部分进行更新。

表现特征:a、点击网页中某个选项时,大部分网站的网址不会改变;b、网页不是完全加载,只是局部进行了数据加载,有所变化。

验证方式:点击操作后,在浏览器中,网址输入栏不会出现加载中的状态或者转圈状态。

 

5)点击左上角的“保存并启动”,选择“启动本地采集

 

 

步骤6:数据采集及导出

1)采集完成后,会跳出提示,选择导出数据

 

2)选择合适的导出方式,将采集好的数据导出

 

3)这里我们选择excel作为导出为格式,数据导出后如下图