百姓网教育培训信息采集
2017-09-01 11:38:54 阅读量： 14014
本文介绍使用八爪鱼采集百姓网-教育培训-分页列表信息 的方法
采集网站：
http://shenzhen.baixing.com/jiaoyupeixun/?src=new-home-nav
使用功能点：
百姓网： 百姓网成立于2005年3月，是国内领先的分类信息生态服务商，是中国互联网轻资产模式的典范。 百姓网致力于打造以分类信息业务为平台、多条垂直业务线布局的生态圈。 为用户提供涵盖生活服务、招聘求职、房屋租售、二手车买卖、二手交易、教育培训、同城交友等本地生活解决方案。
百姓网分类信息采集数据说明：本文进行了百姓网-深圳教育培训的信息采集。本文仅以“百姓网-深圳教育培训的信息采集”为例，大家在实操过程中，可根据自身需求，更换百姓网的其他内容进行数据采集。
百姓网分类信息采集字段详细说明：培训名称，培训范围，培训地址，培训所属领域，培训时间。
步骤1：创建采集任务
1）进入主界面，选择“自定义模式”
2）将要采集的网址复制粘贴到网站输入框中，点击“保存网址”
步骤2：创建翻页循环
1）在页面右上角，打开“流程”，以展现出“流程设计器”和“定制当前操作”两个板块。将页面下拉到底部，点击“下一页”按钮，在右侧的操作提示框中，选择“循环点击下一页”，以建立一个翻页循环
步骤3：创建列表循环并提取数据
1）移动鼠标，选中页面里的第一条教育培训信息的区块。系统会识别此区块中的子元素，在操作提示框中，选择“选中子元素”
2）系统会自动识别出页面中的其他同类元素，在操作提示框中，选择“选中全部”，以建立一个列表循环
3）我们可以看到，页面中教育培训信息区块的所有元素均被选中，变为绿色。选择“采集以下数据”
4）选中字段，点击垃圾桶图标，可删除不需要的字段
5）字段选择完成后，选中相应的字段，可以进行字段的自定义命名。完成后，点击左上角的“保存并启动”，选择“启动本地采集”
步骤4：修改Xpath
启动数据采集后，数据采集出错。重新调试采集规则，我们发现，建立“循环”列表步骤出错，需要进行一些高级选项的设置。
1）选中“循环”步骤，打开“高级选项”，将不固定元素列表中的这条
Xpath：//HTML/BODY[1]/SECTION[2]/DIV[3]/UL[1]/LI，复制粘贴到火狐浏览器中的相应位置
2）将八爪鱼中的Xpath，复制粘贴到此位置。观察页面，我们可以看到，页面中我们不需要采集的两条广告，也被定位了
3）继续观察网页源码，广告区块的源码中，class="media clearfix adsense adsense-oneline" ，而培训信息区块的源码中，class="item-regular"。因而，通过class属性，可以分辨广告区块和培训信息区块
将Xpath修改为：//HTML/BODY[1]/SECTION[2]/DIV[3]/UL[1]/LI[contains(@class,'item-regular')]，我们发现，页面中要采集的培训信息区块，均被定位了，而广告区块没有被定位
4）将修改后的这条Xpath：//HTML/BODY[1]/SECTION[2]/DIV[3]/UL[1]/LI[contains(@class,'item-regular')]，复制粘贴到八爪鱼中，点击“确定”后，重新启动采集任务，数据即可正常采集
5）再次点击左上角的“保存并启动”，选择“启动本地采集”
步骤5：数据采集及导出
1）采集完成后，会跳出提示，选择“导出数据”。选择“合适的导出方式”，将采集好的数据导出
