搜狗地图景点采集
2017-08-18 10:59:35 阅读量： 11806
本文介绍使用八爪鱼采集搜狗地图（以惠州-景点为例）的方法
采集网站：
http://map.sogou.com/#c=12683571.543198185,2562773.9201191864,14
搜狗地图：搜狗地图作为中国电子地图服务市场的领导者，是国内最早的面向公众服务的地图网站，数据覆盖全国近400个城市3000个区县，数千万poi信息点，提供全国的驾车路线导航，以及130个城市的公交换乘服务，是国内首屈一指的地图查询服务平台。
搜狗地图除了搜索、公交、自驾导航等地图的基本功能之外，另外还有多功能商店、路书、卫星图、手机地图等其他特色应用，全方位地满足了人们随时随地掌握出行生活的需要。
数据说明：本文进行了搜狗地图-搜索-惠州的所有景点信息采集。本文仅以“搜狗地图-搜索-惠州的所有景点信息采集”为例。大家在实操过程中，可根据自身需求，更换搜狗地图的搜索字段进行数据采集。
搜狗地图采集详细采集字段说明：景点名称、景点详情、景点详细地址、景点地址，景点所在地区。
使用功能点：
l 文本循环教程
步骤1：创建采集任务
1）进入主界面，选择“自定义采集”
2）将要采集的网站URL复制粘贴到输入框中，点击“保存网址”
步骤2：输入采集信息
1）点击地图上的输入框，然后在右侧操作提示框中，选择“输入文字”
2）在操作框提示中，输入想要查询的文本。这里输入“惠州 景点”。输入完成后，点击“确定”
3）“惠州 景点”会自动填充到输入框。先点击“搜索”按钮，然后在右侧操作提示框中，选择“点击该按钮”
由于此网页涉及Ajax技术，我们需要进行一些高级选项的设置。选中“点击元素”步骤，打开“高级选项”，勾选“Ajax加载数据”，设置时间为“2秒”
注：AJAX即延时加载、异步更新的一种脚本技术，通过在后台与服务器进行少量数据交换，可以在不重新加载整个网页的情况下，对网页的某部分进行更新。
表现特征：a、点击网页中某个选项时，大部分网站的网址不会改变；b、网页不是完全加载，只是局部进行了数据加载，有所变化。
验证方式：点击操作后，在浏览器中，网址输入栏不会出现加载中的状态或者转圈状态。
步骤3：创建翻页循环
1）我们可以看到，页面出现了“惠州 景点”的搜索结果。将结果页面下拉到底部，点击“下一页”按钮。在右侧的操作提示框中，选择“循环点击下一页”，以创建一个翻页循环
由于此网页涉及Ajax技术，我们需要进行一些高级选项的设置。选中“点击元素”步骤，打开“高级选项”，勾选“Ajax加载数据”，设置时间为“2秒”
Ajax技术在上述已经提到
步骤4：创建列表循环并提取数据
1）移动鼠标，选中页面里第一条景点信息的区块。系统会识别此区块中的子元素，在操作提示框中，选择“选中子元素”
2）系统会自动识别出页面中的其他10组同类元素，在操作提示框中，选择“选中全部”，以建立一个翻列表循环
3）我们可以看到，页面中景点信息区块里的所有元素均被选中，变为绿色。右侧操作提示框中，出现字段预览表，将鼠标移到表头，点击垃圾桶图标，可删除不需要的字段。字段选择完成后，选择“采集以下数据”
4）字段选择完成后，选中相应的字段，可以进行字段的自定义命名。完成后，点击左上角的“保存并启动”，启动采集任务
步骤6：数据采集及导出
1）采集完成后，会跳出提示，选择“导出数据”，选择“合适的导出方式”，将采集好的数据导出
2）这里我们选择excel作为导出为格式，数据导出后如下图
