知乎回答内容采集方法
2017-10-20 09:21:31 阅读量： 31255
本文介绍使用八爪鱼采集知乎回答内容的方法
采集网站：https://www.zhihu.com/question/29727952
使用功能点：
知乎：知乎是一个真实的网络问答社区，社区氛围友好与理性，连接各行各业的精英。用户分享着彼此的专业知识、经验和见解，为中文互联网源源不断地提供高质量的信息。
知乎回答内容采集数据说明：本文进行了知乎回答内容的采集。本文仅以“知乎回答内容采集”为例，大家在实操过程中，可根据自身需求，更换知乎的其他内容进行数据采集。
知乎回答内容采集字段详细说明：知乎问题标题，知乎回答ID，知乎签名，知乎回答赞同数，知乎回答评论数，知乎回答内容。
步骤1：创建采集任务
1）进入主界面，选择“自定义模式”
2）将要采集的网址URL复制粘贴到网站输入框中，点击“保存网址”
步骤2：创建翻页循环
1）在页面右上角，打开“流程”，以展现出“流程设计器”和“定制当前操作”两个板块。点击问题，在操作提示框中，选择“采集该元素的文本”
2）将页面下拉到底部，点击“查看更多回答”按钮，在右侧的操作提示框中，选择“更多操作”
选择“循环点击单个按钮”
我们发现，系统自动打开要采集的网页，进入知乎问题回答区。经过一次自动下拉加载，此页面达到最底部，出现“查看更多回答”按钮。因而，我们在执行翻页操作前，需等待网页完全加载出来，即需要设置执行前等待
选中整个“循环翻页”步骤，打开高级选项，设置执行前等待为“3秒”，然后点击“确定”
“点击元素”操作同理，设置执行前等待为“3秒”。同时，“点击元素”步骤还涉及Ajax加载技术，需勾选“Ajax加载数据”，设置时间为“2秒”
注：AJAX即延时加载、异步更新的一种脚本技术，通过在后台与服务器进行少量数据交换，可以在不重新加载整个网页的情况下，对网页的某部分进行更新。
表现特征：a、点击网页中某个选项时，大部分网站的网址不会改变；b、网页不是完全加载，只是局部进行了数据加载，有所变化。
验证方式：点击操作后，在浏览器中，网址输入栏不会出现加载中的状态或者转圈状态。
步骤3：提取知乎回答
1）移动鼠标，选中页面里第一个回答区块。系统会识别此区块中的子元素，在操作提示框中，选择“选中子元素”
2）系统会并识别出页面中的其他同类元素。在操作提示框中，选择“选中全部”
3）选择“采集以下数据”
4）选中字段，点击垃圾桶图标，可将其删除
5）选中相应的字段，可以进行字段的自定义命名
步骤4：调整流程图结构
回顾采集过程，我们配置规则的思路是，先通过循环点击“查看更多回答”按钮，建立翻页循环，加载出全部回答，然后再建立循环列表，提取数据。
1）选中整个“循环”步骤，将其拖出“循环翻页”步骤。如果不进行此项操作，那么将会出现很多重复数据
拖动完成后，如下图所示
2）点击左上角的“保存并启动”，选择“启动本地采集”
步骤5：数据采集及导出
1）采集完成后，会跳出提示，选择“导出数据”，选择“合适的导出方式”，将采集好的数据导出
2）这里我们选择excel作为导出为格式，数据导出后如下图
