官方网站新闻采集|人民网新闻采集

信息碎片化时代，互联网上每天都有数以万计的新信息发布，为了抢夺大众的注意力，占用他们的碎片化时间，各大网站或app的招数也是层出不穷。

许多新闻平台都有兴趣推荐机制，拥有成熟先进的内容推荐算法，可以捕捉用户的兴趣标签，将用户感兴趣的内容推送到他的首页。

虽然拥有先进的内容推荐算法与互联网用户画像数据，但仍然缺乏海量的内容：比如做内容分发的，他们需要将各个新闻资讯平台更新的数据实时采集下来，再通过个性化推荐系统将其分发给感兴趣的人；做垂直内容聚合的，需要搜集互联网上某特定领域、特定分类下的新闻资讯数据，再发布到自己的平台上。

因此这些平台都需要及时获取互联网实时更新的最新资讯，配合其算法推荐给用户，从而为用户提供优质内容，从而提升用户关注与留存。

新闻转载分发的难点

• 数据源众多，采集的目标网站成百上千。

新闻数据源众多，媒体门户网站（人民网/新华网/央视网等）、自媒体平台（今日头条、百家号、一点资讯等）垂直新闻媒体网站（汽车之家/东方财富等）等百花齐放，采集的目标网站可能成百上千。

如果针对每个网站去写爬虫脚本，需投入很多的技术资源，时间经理和服务器硬件成本，各种流程下来可能两三个月都无法上线。如果要设计一套通用的爬虫系统，这个通用算法难度是非常大的（参考百度的搜索引擎爬虫），基本放弃这个想法。

• 新闻资讯时效性强，需实时采集。

我们都知道新闻资讯时效性强，需要各个目标网站的数据一更新就立即将其采集下来。一旦晚了一点，新闻的时效性便会大打折扣。

基于以上几大难题，我们推出了八爪鱼新闻采集模板，帮助大家及时采集新闻资讯，节约时间成本。目前八爪鱼提供的新闻采集模板覆盖了几大主流资讯网站，包括人民网、凤凰网、新华网等、支持关键词搜索采集、滚动新闻采集、具体类目下新闻采集等功能；

使用示例：

以人民网为例，以下是我使用八爪鱼采集人民网新闻的具体案例，希望对大家有所帮助。

先看一下采集结果，单次导出为Excel的示例数据是这样的：

模板展示如下：

滚动新闻的采集模板用来采集某个指定栏目或多个栏目中滚动新闻采集，用于采集人民网实时的新闻数据，

首先我们需要找到需要采集的滚动新闻页面网址

1. 进入人民网首页http://www.people.cn/，点击要闻栏，选择需要采集的新闻类型

2. 进入新闻专栏，这里以【社会·法治】专栏为例，在页面中选中滚动新闻

3. 进入专栏滚动新闻页面后，即可获取当前页面的网址【社会·法治--人民网 (people.com.cn)】http://society.people.com.cn/

4. 使用模板

模板使用非常简单，点击立即使用后，输入想要采集的专栏网址，多个网址可以用回车分隔（图片中示例：http://military.people.com.cn/ ）和翻页次数，直接启动采集即可

将数据采集下来之后，就可以获得新闻发布时间，发布来源，发布标题，作者，正文内容等字段，此时便可以根据自身需求，将新闻内容进行内容分发，转载或二次创作等。

 除滚动新闻采集外，八爪鱼还为大家准备了【人民网·首页新闻采集】和【人民网·关键词搜索】采集模板以及多个新闻平台的模板免费给大家使用，