本文介绍使用八爪鱼采集搜狗微信文章(以采集搜索“八爪鱼大数据”出现的文章为例)的方法

采集网站:http://weixin.sogou.com/

 

使用功能点:

URL

分页列表信息采集

 

搜狗微信搜素:搜狗微信搜索是搜狗在2014年6月9日推出的一款针对微信公众平台而设立的。“微信搜索”支持搜索微信公众号和微信文章,可以通过关键词搜索相关的微信公众号,或者是微信公众号推送的文章。不仅仅在PC端,搜狗的移动搜索客户端同样会进行相关的微信公众号推荐。

 

搜狗微信文章采集数据说明:本文进行了搜狗微信-搜索-八爪鱼大数据的所有文章信息采集。本文仅以搜狗微信-搜索-八爪鱼大数据的所有文章信息采集”为例。大家在实操过程中,可根据自身需求,更换搜狗微信的搜索词进行数据采集。

 

搜狗微信文章采集详细采集字段说明:微信文章标题、微信文章关键字、微信文章概括、微信公众号名称、微信文章发布时间、微信文章地址。

 

步骤1:创建采集任务

1)进入主界面,选择“自定义模式”

1

2)要采集的网址URL制粘贴到网站输入框中,点击“保存网址”

2

 

步骤2:创建翻页循环

1)打开右上角的“流程”。点击页面中的文章搜索框,在右侧的操作提示框中,选择“输入文字”

3

2)输入要搜索的文章信息,这里以搜索“八爪鱼大数据”为例,输入完成后,点击“确定”按钮

4

3)“八爪鱼大数据”会自动填充到搜索框,点击“搜文章”按钮,在操作提示框中,选择“点击该按钮”

5 

4)页面中出现了“八爪鱼大数据”的文章搜索结果。结果页面下拉到底部,点击“下一页”按钮,在右侧操作提示框中,选择循环点击下一页

6

 

步骤3:创列表循环并提取数据

1)移动鼠标选中页面里第一篇文章的区块。系统会识别此区块中的子元素,在操作提示框中,选择“选中子元素”

7

2)继续选中页面中第二篇文章的区块,系统会自动选中第二篇文章中的子元素,并识别出页面中的其他10组同类元素,在操作提示框中,选择“选中全部”

8

3)我们可以看到,页面中文章区块里的所有元素均被选中,变为绿色。右侧操作提示框中,出现字段预览表,将鼠标移到表头,点击垃圾桶图标,可删除不需要的字段。字段选择完成后,选择“采集以下数据”

9

4)由于我们还想要采集每篇文章的URL,因而还需要提取一个字段。点击第一篇文章的链接,再点击第二篇文章的链接,系统会自动选中页面中的一组文章链接。在右侧操作提示框中,选择“采集以下链接地址”

10

 

5)字段选择完成后,选中相应的字段,可以进行字段的自定义命名完成后,点击左上角的“保存并启动”,启动采集任务

11

6)选择“启动本地采集”

12

 

步骤4:数据采集及导出

1)采集完成后,会跳出提示,选择导出数据”,选择合适的导出方式,将采集好的搜狗微信文章的数据导出

13

2)这里我们选择excel作为导出为格式,数据导出后如下图

14