网易自媒体文章采集
2018-01-23 11:41:24 阅读量: 38941
本文介绍使用八爪鱼采集网易号文章的方法。
采集网址:
http://dy.163.com/v2/index.html
网易号前身为网易订阅,是网易传媒在完成“两端”融合升级后,全新打造的自媒体内容分发与品牌助推平台。本文以网易号首页列表为例,大家也可以更换采集网址采集其他列表。
采集内容:文章标题,发布时间,文章正文。
使用功能点:
步骤1:创建网易号文章采集任务
1)进入主界面,选择“自定义采集”
2)将要采集的网址URL复制粘贴到网站输入框中,点击“保存网址”
步骤2:创建循环点击加载更多
1)打开网页之后,打开右上角的流程按钮,从左边的流程展示界面拖入一个循环的步骤,如下图
2)然后拉到页面底部,看到加载更多按钮,因为想要查看更多内容就需要循环的点击加载更多,所以我们就需要设置一个点击“加载更多”的循环步骤。注意:采集更多内容就需要加载更多的内容,本篇文章仅做演示,所以选择执行点击“加载更多”20次,根据自己实际需求加减即可。
步骤3:创建循环点击列表采集详情
1)点击文章列表的第一个和第二个标题,然后选择“循环点击每个元素”按钮,这样就创建了一个循环点击列表命令,当前列表页的内容就都能在采集器中看到了。
2)然后就可以提取我们需要的文本数据了,下图提取了文本的标题、时间、正文等三个部分的文字内容,还需要其他的信息可以自由删减编辑。然后就可以点击保存,开始本地采集。
3)点击开始采集后,采集器就开始提取数据。
4)采集结束后导出即可。