采集场景

打开东方财富网【定向增发股】类目的网页：http://data.eastmoney.com/other/dxzf.html ，采集页面上显示的股票信息。 

 

采集字段

股票简称、基金代码、发行方式、发行总数、发行价格、最新价、发行日期、增发上市日期、锁定期、股票代码详情链接、当前采集时间等字段。

点击查看高清大图，下文其他图片同理  

 

采集结果

采集结果可导出为Excel、CSV、HTML、数据库等多种格式。导出为Excel示例：

 

采集步骤

 

步骤一、打开网页

步骤二、创建【循环-提取数据】，采集所有表格中的数据

步骤三、创建【翻页循环】，以采集多页数据

步骤四、编辑字段

步骤五、修改翻页XPath

步骤六、启动采集

 

以下为具体步骤：

 

步骤一、打开网页

在首页【输入框】中输入目标网址：http://data.eastmoney.com/other/dxzf.html，点击【开始采集】，八爪鱼自动打开网页。

 

特别说明：

a. 打开网页后，如果开始开始【自动识别】，请点击【不再自动识别】或【取消识别】将其关掉。因为本文不适合使用【自动识别】。

b. 【自动识别】适用于自动识别网页上的列表、滚动和翻页，识别成功后直接启动采集即可获取数据。详情点击查看 【自动识别】教程

 

步骤二、创建【循环-提取数据】，采集所有表格中的数据

 

此网页中的股票数以表格样式呈现。

表格是列表数据的特殊形式，通过以下4步，可创建一个【循环-提取数据】，让八爪鱼自动识别并采集所有表格中的字段。


 
① 先选中页面上第一行数据的第一个单元格，再点击提示框右下角的TR按钮，以选中一整行

② 在黄色操作提示框中，点击【选中子元素】

③ 点击【选择全部】

④ 点击【采集数据】

 

 

特别说明：

a. 经过以上连续4步，【循环-提取数据】创建完成。【循环】中的项，对应着页面上所有行，【提取数据】中的字段，对应着每行的每个字段。启动采集以后，八爪鱼就会按照循环中的顺序依次提取每行表格中的字段。

b. 为何通过以上4步，可建立【循环-提取数据】？详情点击查看 采集表格数据 。

 

步骤三、建立【翻页循环】，以采集多页数据

 

如果只采集一页数据，可跳过此步骤。如果需采集多页数据，请按以下步骤操作：

在操作提示框中点击【设置翻页采集】，随后在网页中找到并选中【下一页】按钮，再回到弹窗中点击【确定】，流程中会自动创建【循环翻页】步骤。

还因为此网页的翻页是Ajax，八爪鱼会自动检测出来并设置合理的Ajax超时时间，一般情况下不用调整。

 

特别说明：

a. 以上是创建循环翻页的一种方法，也可在页面中找到并选中【下一页】按钮，然后在黄色提示框中点击【循环点击下一页】，以创建【循环翻页】步骤。

b. 创建【循环翻页】后，八爪鱼会自动点击翻页按钮进行翻页，从第1页，第2页......直到最后1页。如果只需采集特定页的数据，可在八爪鱼中设置循环翻页的次数，详情点击查看 翻页以采集多页数据教程 。

c. 什么是Ajax ？点击查看教程 ajax网页采集方法 。

 

步骤四、编辑字段

 

1、编辑字段

在【当前页面数据预览】面板中，可删除多余字段，修改字段名，移动字段顺序等，请按需调整。

 

2、增加字段

如果需要增加当前采集时间、当前页面网址等字段，可在【当前页面数据预览】面板，点击 + 号按钮进行添加。

 

 

步骤五、修改翻页XPath

默认的【循环翻页】XPath无法精准实现翻页，会导致其他关键词无法输入并采集的问题，需手动修改【循环翻页】XPath。

进入【循环翻页】设置页面，修改XPath为：//a[text()='下一页' and not(@class)] 。

 

 

特别说明：

a. 为什么会不结束翻页？这是因为【循环翻页】默认生成的XPath，在最后1页时，仍然能定位到【下一页】按钮，这就会导致其一直点击【下一页】按钮，不结束翻页。为了解决这个问题，我们需要手动写一条XPath，使之在当前页为非最后一页时，都能定位到【下一页】按钮，以实现不断点击【下一页】按钮进行翻页。同时在当前页为最后一页时，不定位到【下一页】按钮，以结束翻页。这里需要一定的XPath知识。点击查看 XPath学习与实例教程 。

 

步骤六、启动采集

 

1、单击【采集】并【启动本地采集】。启动后八爪鱼开始自动采集数据。

 

 

特别说明：

a. 【本地采集】是使用自己的电脑进行采集，【云采集】是使用八爪鱼提供的云服务器采集，点击查看 本地采集与云采集详解。

 

2、采集完成后，选择合适的导出方式导出数据。支持导出为Excel、CSV、HTML、数据库等。这里导出为Excel。数据示例：