政府平台公告采集|以全国楼市政策为例

政府平台政策采集

在法律、金融、房产等与国家政策及法律法规息息相关的行业，每周甚至每天都会有新的政策颁布，由于行业的特殊性，及时掌握第一手信息的重要性不容忽视。但数据来源众多，需要每天花费大量的时间收集零落在各个网站和平台上的新信息，非常耗费时间，而且人工的精力有限，将有限的精力花费在重复的信息收集上并不划算。

如果有一个工具可以帮忙把不同网站上最新政府政策相关的信息采集下来，那可以最大限度节约时间成本，帮助工作人员从繁琐的信息收集工作中解放出来。

今天就给大家演示如何通过八爪鱼采集器，简单高效地从政府公告中采集最新的政策相关资讯。

一、 设置采集流程

首先需要找到采集信息的网址。

以大家关注度比较高的房产行业为例，我们从中国网·地产的政策频道采集了2017年9月至今发布的3612条楼市相关的政策。

采集网站：中国网·地产 政策专栏 http://house.china.com.cn/zhengce

采集范围：2017年8月至今发布的全国楼市政策新政

采集字段：标题、正文链接、正文摘要、关键词、发布时间

采集数量：3612条

采集时间：2021年7月14日

Step1新建任务

打开八爪鱼采集器，点击新建自定义任务，将需要采集的网址输入文本框，点击采集

Step2设置采集字段

采集字段：标题、正文链接、正文摘要、关键词、发布时间

Step3设置翻页循环

考虑到政府网站的承载量，我们在翻页循环中可以设置在页面停留时间长一些。

step4

启动采集，获得数据，以需要的格式导出。

这里选择以Excel形式导出，示例数据如下：

二、设置自动定时采集网页

因为每天可能都会有新政策颁布，我们还可以针对这个任务，设置定时采集，每隔一段时间获取一次最新的政策信息。

配置好规则后，我们可以根据需求设置定时采集，如工作日每天一次，那么我们在定时采集中点击按星期（勾选周一到周五及采集数据的时间），只需要每天打开一次八爪鱼软件，导出最新的政策信息到本地，即可快速获取当前最新的政策资讯。

三、数据可视化分析

除了获取最新的政策信息外，通过搭建一些可视化图表，对于以往数据的分析也可以帮助我们更宏观地了解市场动态，对于最新的政策的分析，联合以往政策的发布，可以及时做出风险预判，调整应对方法。

以下提供一些分析思路：

从上文获取到的《2017年8月至今发布的全国楼市政策新政》的3612条信息中，我们可以发现：

按照政策中出现的城市名次数来看，北上广深四个一线城市的房产相关政策发布最为频繁，其中发布频次最多的是北京市，在政策中出现了130次，其次是深圳（89次）、广州（77次）。

值得一提的是，除了一线城市外，海南近几年也有较多的房产政策发布，从2018年宣布海南建立海南自由贸易港开始，加上“零关税”等红利的给予；有许多外省人士都想纷纷进入海南岛工作或者就是创业及其发展，海南为了限制房价的飙升，也出台了一系列限购政策。

从发布政策数的年份及月份分布来看，新政颁布最为频繁的年份是2018年，单月发布的，这也是房价上涨最为疯狂的时期，2019年以后政策的发布频次开始降低。2021年以来的政策发布频率持续走低，但这并不意味着房产政策的放松。

通过分析关键词出现的词频，可以看到房产政策的重点发力方向。关注度最高的分别是公积金、住房、新政、消费、投资、减税等。

事实上可视化分析方向远不止于次，对于行业政策的分析还有许多细节需要深入，以上仅做抛砖引玉。

虽然各个网站的采集细节和字段有差别，但大方向仍然是一致的，房产政策信息的采集只是给大家提供一个采集思路。

八爪鱼采集器为大家提供了多种采集模板，覆盖一些主流的政府官网网站，方便大家及时获取最新的政策信息。