采集场景

在股吧中输入某一批股票的网址，打开其对应的股吧，会展示很多讨论帖。点击每个讨论帖进入详情页，采集详情页的帖子信息和评论信息。

示例网址：http://guba.eastmoney.com/list,300869.html

                  http://guba.eastmoney.com/list,002108.html

  

采集字段

股吧名称、帖子作者名称、发布时间、文章标题、文章内容、评论者、评论时间、评论内容等内容。

点击查看高清大图，下文其他图片同理  

 

采集结果

采集结果可导出为Excel、CSV、HTML、数据库等多种格式。导出为Excel示例：

 

 

教程说明

本篇制作时间：2022/6/17    八爪鱼版本：V8.5.2

如果因网页改版造成网址或步骤无效，无法收集到目标数据，请联系官方客服，我们将及时修正。

 

采集步骤

 

步骤一：批量导入网址，打开网页

步骤二、设置列表循环

步骤三、点击进入帖子详情页面，采集文章正文等内容

步骤四、创建评论部分的【循环列表】，采集评论内容、评论者等字段

步骤五、设置评论内容的循环翻页和帖子列表的循环翻页

步骤六、修改字段的名称和字段的XPath

步骤七、启动采集

 

 

以下为具体步骤：

 

步骤一、打开网页

 

在首页界面，将复制好的一批同类网址，粘贴进网址输入框中，并点击【开始采集】。

八爪鱼中内置的浏览器会自动打开网页，同时流程会自动创建【循环-打开网页】步骤。

 

示例中输入的网址为：http://guba.eastmoney.com/list,300869.html

                                     http://guba.eastmoney.com/list,002108.html

 

 

特别说明：

a. 如果手上不是股吧网址，而是股票代码，可以依据股票代码批量生成网址，参考 网址批量生成教程 。

b. 打开网页后，如果开始开始【自动识别】，请点击【不再自动识别】或【取消识别】将其关掉。因为本文不适合使用【自动识别】。

c. 【自动识别】适用于自动识别网页上的列表、滚动和翻页，识别成功后直接启动采集即可获取数据。详情点击查看 【自动识别】教程

 

步骤二、创建【循环列表】

 

1、创建【循环-点击元素】，点击进入每个帖子详情页

通过以下连续3步，实现循环点击每个链接，进入详情页：

① 选中页面上第1条帖子链接

② 再选中页面上另一条帖子链接

③ 点击【循环点击每个链接】，进入第1条帖子的详情页

 

 

步骤三、采集详情页的文章标题、正文等字段

选中页面中的文本，然后在操作提示框中，点击【采集该元素文本】。

文本类字段都可以按照这样的方式提取。示例中我们提取了文章标题、作者、发布时间、正文等字段。

 

 

步骤四、创建评论部分的【循环列表】，采集全部评论内容、评论者等字段

 

一篇帖子内可能有多条评论，通过以下几步，采集文章内的所有评论者和评论内容等字段：


① 选中一条评论的框框，需要包含到咱们要的各种字段

② 在黄色操作提示框中，点击【选中子元素】，再选择【选中全部】

③ 可以在下方的数据预览区域内直接把识别一些咱们不需要的字段删除了，再选择【采集数据】

 

 

特别说明：

a. 评论列表有可能不止一页，如需采集多页评论内容，可添加翻页步骤，具体操作参考教程实现翻页。

 

步骤五、设置评论内容的循环翻页和帖子列表的循环翻页

 

1、创建评论的翻页循环

因为每个帖子评论部分的内容可能会有很多页，因此我们可以设置循环翻页采集多页评论内容。

 

① 先点击流程中的【循环列表1】步骤，以回到评论列表页（如果已在列表页可直接继续操作）

② 再选择页面中的【下一页】按钮，在操作提示上单击【循环点击下一页】，创建【循环翻页】。

 


2、创建帖子的翻页循环

股吧上每支股票的帖子都可能不止一页，因此我们也要设置翻页循环采集多页帖子内容。

 

① 先点击流程中的【循环列表】步骤，以回到帖子列表页（如果已在帖子列表页可直接继续操作）

② 再选择页面中的【下一页】按钮，在操作提示上单击【循环点击下一页】，创建【循环翻页】。

 

 

步骤六、修改字段的名称和字段的XPath

 

1、修改字段名称

进入【提取数据】设置页面，修改字段名称

 

 

2、补充提取一些其他字段，并修改字段XPath

如果还需要采集其他字段，则在当前列表循环中中继续提取即可（在页面中以红框框起来），无需再新建循环。

 

上述操作中，每个字段的XPath都是系统默认生成的，定位不一定准确，根据实际情况我们可能需要手动修改。

将【股吧名称】的XPath修改为：//span/a[contains(@href,"/list,")]

将【评论数】的XPath修改为：//a[contains(text(),'全部评论')]/span[@class="comment_num"]

再修改【评论部分的翻页】XPath：//span[@id='newspage']//a[@class="on"]/following-sibling::a[1][not(text()='尾页')]

 

 

步骤七、启动采集

 

1、单击【采集】并【启动本地采集】。启动后八爪鱼开始自动采集数据。

 

 

特别说明：

a. 【本地采集】是使用自己的电脑进行采集，【云采集】是使用八爪鱼提供的云服务器采集，点击查看 本地采集与云采集详解。

 

2、采集完成后，选择合适的导出方式来导出数据。支持导出为Excel，CSV，HTML，数据库等。这里导出为Excel。数据示例：

 

 

 作者：勾勾

 编辑：勾勾