新浪微博数据采集
2017-08-23 16:22:17 阅读量： 51195
本文介绍使用八爪鱼7.0采集新浪微博数据的方法
采集网站：
https://weibo.com/pgone?refer_flag=1005055014_&is_hot=1
使用功能点：
l Ajax滚动加载设置
l 分页列表详情页内容提取
新浪微博：新浪微博是一个由新浪网推出，提供微型博客服务类的社交网站。用户可以通过网页、WAP页面、手机客户端、手机短信、彩信发布消息或上传图片。新浪可以把微博理解为“微型博客”或者“一句话博客”。用户可以将看到的、听到的、想到的事情写成一句话，或发一张图片，通过电脑或者手机随时随地分享给朋友，一起分享、讨论；还可以关注朋友，即时看到朋友们发布的信息。
新浪微博采集数据说明：本文进行了新浪微博-个人主页的所有微博信息采集。本文仅以“新浪微博-个人主页的所有微博信息采集”为例。大家在实操过程中，可根据自身需求，更换新浪微博的其他内容进行数据采集。
新浪微博采集字段详细说明：微博名称，微博发布时间，微博发布内容。
步骤1：创建采集任务
进入主界面选择，选择自定义模式
将上面网址的网址复制粘贴到网站输入框中，点击“保存网址”
保存网址后，页面将在八爪鱼采集器中打开，红色方框中的信息是这次演示要采集的内容
步骤2：设置ajax页面加载时间
l 设置打开网页步骤的ajax滚动加载时间
l 找到翻页按钮，设置翻页循环
l 设置翻页步骤ajax下拉加载时间
在页面打开后，当下拉页面时，会发现页面有新的数据在进行加载
所以需要进行以下设置：打开流程图，点击“打开网页”步骤，在右侧的高级选项框中，勾选“页面加载完成向下滚动”，设置滚动次数，每次滚动间隔时间，一般设置2秒，这个页面的滚动方式，选择“直接滚动到底部”；最后点击确定
注意：这里的滚动次数及间隔需要针对网站进行设置，测试方法可以参考八爪鱼7.0教程——AJAX滚动教程
将页面下拉到底部，找到下一页按钮，鼠标点击，在右侧操作提示框中，选择“循环点击下一页”
由于页面使用了ajax加载技术，当采集时，网站总需要重新加载，所以对翻页步骤需进行上面打开网页步骤中的设置
步骤3：采集微博内容
l 选中需要采集的微博时间，创建循环点击列表
l 进入微博页创建采集列表
如图，移动鼠标选中列表中商家的名称，右键点击，需采集的内容会变成绿色，然后点击“选中全部”
注意：点击右上角的“流程”按钮，即可展现出可视化流程图。
然后点击“循环点击每个链接”
网页会跳转到详情页中，移动鼠标选中要采集的内容，右键点击，
选择“采集该链接的文本”
鼠标右键点击需要采集的文本字段，点击“选中全部”
注意： 鼠标放在提示框中的字段上会出现一个删除标识，点击即可删除该字段。
修改采集字段名称，点击下方红色方框中的“保存并开始采集”
步骤4：数据采集及导出
根据采集的情况选择合适的采集方式，这里选择“启动本地采集”
说明：本地采集占用当前电脑资源进行采集，如果存在采集时间要求或当前电脑无法长时间进行采集可以使用云采集功能，云采集在网络中进行采集，无需当前电脑支持，电脑可以关机，可以设置多个云节点分摊任务，10个节点相当于10台电脑分配任务帮你采集，速度降低为原来的十分之一；采集到的数据可以在云上保存三个月，可以随时进行导出操作。
采集完成后，选择合适的导出方式，将采集好的数据导出
