东方财富网信息采集
2017-09-20 11:20:09 阅读量: 30648
本文介绍采集使用八爪鱼7.0采集东方财富网数据的方法
采集网站:
http://quote.eastmoney.com/center/list.html#10
使用功能点:
l Ajax翻页
l 分页表格信息提取
东方财富网:东方财富网致力于打造专业、权威、为用户着想的财经媒体。东方财富网网站内容涉及财经、股票、基金、期货、债券、外汇、银行、保险等诸多金融资讯与财经信息,全面覆盖财经领域,每日更新上万条最新数据及资讯,为用户提供便利的查询。
东方财富网股票数据采集说明:本文进行了东方财富网-行情中心-上涨A股股票数据的采集。本文仅以“东方财富网-行情中心-上涨A股股票数据采集”为例,大家在实操过程中,可根据自身需求,更换东方财富网的其他内容进行数据采集。
东方财富网股票数据采集详细说明:股票序号,股票代码,股票名称,股票相关链接,股票最新价,股票涨跌幅,股票振幅,股票成交量,股票成交额,股票昨收,股票今开,股票最高,股票最低,股票5分钟涨跌。
步骤1:创建采集任务
进入主界面选择,选择自定义模式
将上面网址的网址复制粘贴到网站输入框中,点击“保存网址”
保存网址后,页面将在八爪鱼采集器中打开,红色方框中的评价信息是这次演示要采集的内容
步骤2:创建翻页循环
l 找到翻页按钮,设置翻页循环
l 设置ajax翻页时间
将页面下拉到底部,找到下一页按钮,鼠标点击,在右侧操作提示框中,选择“循环点击下一页”
由于页面使用了ajax加载技术,需要对点击元素及翻页步骤设置ajax延时加载(ajax判断方法:打开流程图,找到翻页循环框,手动执行翻页,看网站有没有进行加载)在右侧的高级选项框中,勾选Ajax加载数据,选择合适的超时时间,一般设置2秒;最后点击确定
注意:点击右上角的“流程”按钮,即可展现出可视化流程图。
步骤3:分页表格信息采集
l 选中需要采集的字段信息,创建采集列表
l 编辑采集字段名称
移动鼠标选中表格里任意一个空格信息,右键点击,如图所示,框中数据会被选中,变成绿色,点击右侧提示中点击“TR”
选中数据当前一行的数据会被全部选中,点击“选中子元素”
右侧操作提示框中,查看提取的字段,可将不需要字段删除,点击“选中全部”
点击“采集以下数据”
注意: 在提示框中的字段上会出现一个“X”标识,点击即可删除该字段。
修改采集任务名、字段名,并点击下方提示中的“保存并开始采集”
根据采集的情况选择合适的采集方式,这里选择“启动本地采集”
说明:本地采集占用当前电脑资源进行采集,如果存在采集时间要求或当前电脑无法长时间进行采集可以使用云采集功能,云采集在网络中进行采集,无需当前电脑支持,电脑可以关机,可以设置多个云节点分摊任务,10个节点相当于10台电脑分配任务帮你采集,速度降低为原来的十分之一;采集到的数据可以在云上保存三个月,可以随时进行导出操作。
步骤4:数据采集及导出
采集完成后,会跳出提示,选择导出数据
选择合适的导出方式,将采集好的数据导出