玩爬虫的人都不会错过这些网页!
1、 IT桔子和36K
这一类的网站以发布融资消息著称,通过抓取IT橘子和36Kr的各公司的投融资数据,我们可以试图分析出中国各家基金的活跃程度。
2 、知乎
在知乎平台搜索行业关键词,抓取并汇总所有答案,我们便能找出2016年最热门和最衰落的行业。
3 、汽车网站、汽车论坛
通过汽车网站和论坛的各种评论的抓取以及NLP分析处理,我们其实可以对各种车型的车主做画像。这就类似高德地图基于内部数据的抓取,最新发布的七大汽车品牌车主行为分析。
4 、天猫、京东、淘宝等电商网站
抓取各大电商的评论及销量数据,对各种商品的销量和用户消费习惯进行分析。甚至还可以根据用户评价做情感分析,对新发布的产品及时监控,以便价格和投放的调整。
5 、58同城、安居客、q房网、搜房网等房产网站
这一类的网站我们早有列举,通过抓取房产买卖和租售信息,我们其实可以分析出各地的房价的涨幅以及售量等。
6、 大众点评、美团网等餐饮消费类网站
探鱼、乐凯撒、黄焖鸡米饭是怎么火起来的?抓取这些网站上这些店面的开业情况以及用户消费评价,我们或许可以了解到周边变化的口味,做一个“舌尖上的爬虫”。
7、 拉勾网、中华英才网等招聘网站
抓取这些网站上各类职位信息,分析最热门的职位以及薪资水平。
8 、应用宝等APP
抓取这些APP的数据,对各个APP的发展情况进行跟踪和预测,例如,通过数据我们可以发现小红书这个APP的快速增长以及在年轻人中的极佳口碑。
9、携程、去哪儿等交通出行类网站
用爬虫软件对航班及高铁等信息进行抓取,能从一个侧面看出一个城市的旅游和经济。
10、雪球等财经类网站
抓取雪球KOL或者高回报用户的行为,找出推荐股票。
11、58同城、易车等汽车类网站
一年当中最佳买车时间是什么时候?什么品牌的二手车更保值?通过这些网站车型数据的抓取,我们能迅速找出最佳的买车时间以及最保值的汽车。
12、各类信托网站
通过抓取信托的数据,了解信托项目的类型和规模,以便决策。
其实还有很多有价值的网站和数据,在这里就不一一列举了。重要的是,只要有爱数据的心和可抓取数据的八爪鱼,一切皆有可能。
【本文修改自知乎用户何明科的回答】
服务提示