八爪鱼,百万用户信赖的网络爬虫工具

Facebook,推特,油管,Ins等境外社交数据采集 | 建议收藏

作者:keven 发布时间:9/25/2020 3:31:35 PM 19752 人已阅读

摘要:讲解Facebook,推特,油管,Ins等境外社交数据采集的具体场景与采集方法。

Twitter、Facebook、YouTube、Instagram等境外社交媒体平台上聚集着大量的用户声音。通过采集这些境外社交数据并进行社会化聆听,品牌企业或部门机构能够实时掌握海外舆情态势,进而为海外业务发展、国际事件研究、相关政策制定等提供情报支持。

 

 

过去几年,我们帮助很多客户完成了各种细分场景下的境外社交数据采集与分析:

 

  • 帮助某高校采集并分析“疫情”相关的境外社交数据,以进行“后疫情时代,海外社交媒体对中国的态度变化”的课题研究。

     

  • 帮助某头部互联网公司采集并分析其出海品牌/产品相关的境外社交数据,以进行本品/竞品的产品分析、境外舆情监控。

     

  • 帮助某咨询公司统计境外社交媒体平台上,某一批关键词的声量。

     

  • 帮助某机构涉外部门采集境外社交媒体上实时更新的数据,以挖掘热点信息,洞察舆情态势,为制定相关政策提供情报。

 

本文将结合具体的客户案例,跟大家聊聊常见的境外社交数据采集场景。

 

 

采集场景共性

 

先说一下采集场景共性。

 

Twitter、Facebook、YouTube、Instagram虽然主打的内容形式不同,但他们都属于社交媒体平台,其大的结构和功能比较相似,采集场景也具有很多共性,最常见的三类采集场景是:

 

1. 指定账号下更新的推文/图片/视频采集

2. 特定关键词的实时搜索结果采集

3. 推文/图片/视频下的评论采集

 

这些采集场景,我们几乎都已经做好了采集模板和教程。

★境外采集模板属于特殊模板,如有需要请联系客服。

 

提示:此类模板仅国际版采集器提供,国内版本无此类模板,若需使用此类模板请下载国际版,国际版官网下载链接https://www.octoparse.com/

 

下面每类采集场景选择1个示例网站进行详细讲解,其他网站的采集方法是类似的,不再赘述。

 

如果您有疑问,可随时咨询我们的客服。

 

 

1 采集Facebook指定账号下更新的推文

 


Facebook是全球最大的社交媒体平台,每个月的活跃用户量高达20亿;每天在Facebook上的搜索次数高达15亿;每天使用Facebook的用户超过12亿;每天视频的浏览量超过80亿。

 

采集Facebook指定账号下更新的推文数据是非常常见的采集需求。例如,疫情期间美国的约翰霍普金斯大学(Johns Hopkins University)活跃Facebook平台,实时提供最权威的疫情数据。那在进行疫情相关课题研究时,就可以将约翰霍普金斯大学Facebook账号发布过的历史推文和不断新增的推文采集下来,作为研究的重要数据源。

 

 

详细采集需求包括:

 

  • 采集字段:账号名、账号主页url、账号加入时间、账号发布的推文数、推文标题、推文内容、推文url等页面上可见的、或者源码中有的字段。

     

  • 支持按照账户名或账户主页url自动访问账户并采集数据。像约翰霍普金斯大学这样的Twitter账户有很多,需自动批量访问和采集。

     

  • 支持滚动翻页以显示和采集更多页数据。

     

  • 支持采集历史帖子和根据推文更新频率,定时采集新增的推文数据。

 

以上需求已做好采集模板。

★境外采集模板属于特殊模板,如有需要请联系客服。

 



2 在Twitter上搜索关键词,采集搜索推文列表

 


Twitter是当今最流行的社交媒体平台之一,每天有1亿多活跃用户和5亿多条推文。Twitter相当于微博。

 

在Twitter上搜索关键词,采集搜索推文列表,是非常常见的采集需求。例如,像华为、TikTok等海外业务发展迅猛的品牌企业,需时刻关注境外社交舆情态势,为品牌制定相关决策提供情报支持。Twitter是非常重要的平台,先选定一批与品牌相关的关键词,再在Twitter上实时搜索关键词并采集其搜索结果,能够获得大量有价值的情报。

 

 

详细采集需求包括:

 

  • 采集字段:搜索关键词、推文标题、推文内容、推文url等页面上可见的、或者源码中有的字段。

     

  • 支持批量输入关键词,自动搜索并采集每个关键词对应的搜索结果列表。

     

  • 支持滚动翻页以显示和采集更多页数据。

     

  • 支持采集历史推文和根据推文更新频率,定时采集新增的帖子数据。

 

以上需求已做好采集模板。

★境外采集模板属于特殊模板,如有需要请联系客服。

 



3 采集YouTube视频评论

 


YouTube是世界上最大的视频共享社交媒体平台和视频搜索引擎。每天,人们在YouTube观看视频的时长高达数十亿小时。

 

采集YouTube视频评论是非常常见的需求。例如,某我国知名无人机品牌,在欧美市场的占有率高达70%,其快速成长的秘诀之一就是非常注重社媒营销,其中“在YouTube上进行KOL营销”是非常重要的一环。此品牌积极地与海外头部YouTube KOL展开合作,合作内容包括主打的开箱视频和面向各种细分群体(科技粉、摄影迷、专业机构)的视频等。

 

为了评估传播效果和进一步挖掘价值点,此品牌需要将相关视频的评论都采集下来再进行NLP文本分析。

 

 

详细采集需求包括:

 

  • 采集字段:视频名、视频url、视频发布时间、评论数、评论者、评论内容、评论时间等页面上可见的、或者源码中有的字段。

     

  • 支持按照视频名或视频url自动访问账户并采集数据。

     

  • 支持滚动翻页以显示和采集更多页数据。

     

  • 支持采集历史评论和根据评论更新频率,定时采集新增的评论。

 

以上需求已做好采集模板。

★境外采集模板属于特殊模板,如有需要请联系客服。




 


以上仅以Twitter、Facebook、YouTube为例,详细讲了3个具体的采集场景。

 

实际上,指定账号下更新的推文/图片/视频采集、特定关键词的实时搜索结果采集、推文/图片/视频下的评论采集这三大采集需求,几乎每个境外网站都会涉及,八爪鱼也都能做到。


如果您想更深入地了解,欢迎添加我们的客服咨询。

 

 


欢迎咨询在线客服
加微信群,与更多用户一起交流