百家号爆文采集
2018-01-29 18:06:13 阅读量： 56847
小提示：百家号首页调整，已经没有文章了，所以这篇教程文章失效，如果要采集其他自媒体文章，可以点击：http://www.bazhuayu.com/search?query=%E6%96%87%E7%AB%A0
百家号是全球最大中文搜索引擎百度为内容创作者提供的内容发布、内容变现和粉丝管理平台。 百家号的使命：帮助内容创作者“在这里影响世界”。在百家号中，有许多优质文章需要采集。
本文采集的字段是标题、发文者、时间、阅读数和正文。大家在实际操作过程中，可根据自身需求更改字段内容。此网站需要注意的是网页应用了ajax技术、系统自动生成的流程图会出现重复数据，需手动调整。
采集网站：https://baijia.baidu.com/（百家号首页，首页一般都是阅读量不错的文章，采集之后在表格中筛选一下阅读量就可以找出百家号爆文了）。
使用功能点：
/tutorialdetail-1/fylb-70.html
l AJAX点击和翻页
/tutorialdetail-1/ajaxdjfy_7.html
步骤1：创建采集任务
1）进入主界面，选择“自定义模式”
2）将要采集的网址URL复制粘贴到网站输入框中，点击“保存网址”
步骤2：创建翻页循环
1）在页面右上角，打开“流程”，以展现出“流程设计器”和“定制当前操作”两个板块。网页打开后，默认显示“热门”文章。下拉页面，找到并点击“查看更多”按钮，在操作提示框中，选择“循环点击单个元素”，以创建一个翻页循环
由于此网页涉及Ajax技术，我们需要进行一些高级选项的设置。选中“点击元素”步骤，打开“高级选项”，勾选“Ajax加载数据”，设置时间为“2秒”
注：AJAX即延时加载、异步更新的一种脚本技术，通过在后台与服务器进行少量数据交换，可以在不重新加载整个网页的情况下，对网页的某部分进行更新。
表现特征：a、点击网页中某个选项时，大部分网站的网址不会改变；b、网页不是完全加载，只是局部进行了数据加载，有所变化。
验证方式：点击操作后，在浏览器中，网址输入栏不会出现加载中的状态或者转圈状态。
2）观察网页，我们发现，通过点击“查看更多”按钮，页面可以无限加载。如何限制循环次数呢？选中“循环翻页”步骤，打开“高级选项”，打开“满足以下条件时退出循环”，设置循环次数等于“5次”，点击“确定”
（注意：这里的循环次数可根据自身需求进行确定）
步骤3：创建列表循环并提取数据
1）移动鼠标，选中页面里第一个文章链接，系统会自动选中页面中的一组文章链接。在弹出的操作提示框中，选择“选中全部”
2）选择“循环点击每个链接”
注意：如图，需要的数据已经加载出来了，但是网页还长时间处于加载状态，可点击右侧的“x”号，结束加载
3）点击第一篇文章的标题，在右侧操作提示框中，选择“采集该元素的文本”
4）以同样的方式，采集文章的发文者、时间、阅读数和正文
5）字段选择完成后，选中相应的字段，可以进行字段的自定义命名
注：如图，点击“添加特殊字段”，可添加当前页网址、当前时间等字段
步骤4：调整流程图结构
我们继续观察，通过多次“查看更多”后，此网页加载出多篇文章。因而我们配置规则的思路是，先建立翻页循环，加载出所需的文章，再建立循环列表，提取数据
1）选中整个“循环”步骤，将其拖出“循环翻页”步骤。如果不进行此项操作，那么将会出现很多重复数据
拖动完成后，如下图所示
3）点击左上角的“保存并启动”，选择“启动本地采集”
4）进行一次采集后我们发现，在点进每个文章详情页的时候，想要的数据已经加载出来了，但网页仍长时间处于加载状态。为提高采集速度，我们选中“点击元素”步骤，勾选“Ajax加载数据”
注：这个网页没有使用Ajax技术，但为了提高采集速度，我们设置Ajax已强制停止加载，进入下一步骤，此功能需慎重使用，Ajax超时的时间需根据>网页实际加载时间，不然可能会出现提取不到数据的情况，具体请查看教程：利用AJAX实现超时结束步骤
/tutorialdetail-1/ajaxdjfy_7.html
步骤5：数据采集及导出
1）再次启动采集。采集完成后，会跳出提示，选择“导出数据”，选择“合适的导出方式”，将采集好的搜狗微信文章的数据导出
