论坛数据采集方法(以新浪体育论坛为例)
2017-10-20 17:22:56 阅读量: 23473
介绍采集使用八爪鱼7.0采集论坛数据的方法
采集网站:
http://forum.sports.sina.com.cn/forum-2-1.html
使用功能点:
l 翻页设置
l 分页表格信息提取
新浪体育频道:新浪体育频道是全球最大的中文体育资讯频道,全面覆盖全球体育赛事,多媒体、全方位再现国内外体坛风云。新浪体育包括国内足球、国际足球、NBA、综合体育等重头栏目,全程追踪报道各国体育明星及热门运动队,在国内外业界享有良好口碑。
新浪体育论坛采集数据说明:本文进行了新浪体育论坛信息进行采集。本文仅以“新浪体育论坛信息采集”为例,大家在实操过程中,可根据自身需求,更换新浪论坛的其他内容进行数据采集。
新浪体育论坛采集字段详细说明:帖子标题,帖子作者,帖子发布时间,帖子回复数,帖子浏览数,帖子最后发表时间,帖子最后回复人。
步骤1:创建采集任务
1)进入主界面选择,选择自定义模式
2)将上面网址的网址复制粘贴到网站输入框中,点击“保存网址”
3)保存网址后,页面将在八爪鱼采集器中打开,红色方框中的评价信息是这次演示要采集的内容
步骤2:创建翻页循环
l 找到翻页按钮,设置翻页循环
l 设置ajax翻页时间
1)将页面下拉到底部,找到下一页按钮,鼠标点击,在右侧操作提示框中,选择“更多操作”
2)选择“循环点击单个链接”
步骤3:分页表格信息采集
l 选中需要采集的字段信息,创建采集列表
l 编辑采集字段名称
1)移动鼠标选中表格里任意一个空格信息,右键点击,如图所示,框中数据会被选中,变成绿色,点击右侧提示中点击“TR”
2)选中数据当前一行的数据会被全部选中,点击“选中子元素”
3)右侧操作提示框中,查看提取的字段,可将不需要字段删除,点击“选中全部”
4)点击“采集以下数据”
注意: 在提示框中的字段上会出现一个“X”标识,点击即可删除该字段。
5)修改采集任务名、字段名,并点击下方提示中的“保存并开始采集”
6)根据采集的情况选择合适的采集方式,这里选择“启动本地采集”
说明:本地采集占用当前电脑资源进行采集,如果存在采集时间要求或当前电脑无法长时间进行采集可以使用云采集功能,云采集在网络中进行采集,无需当前电脑支持,电脑可以关机,可以设置多个云节点分摊任务,10个节点相当于10台电脑分配任务帮你采集,速度降低为原来的十分之一;采集到的数据可以在云上保存三个月,可以随时进行导出操作。
步骤4:数据采集及导出
1)采集完成后,选择合适的导出方式,将采集好的数据导出