豆瓣电影短评采集
2017-09-01 09:49:45 阅读量: 43403
本文介绍使用八爪鱼采集豆瓣电影-短评(以战狼2为例) 的方法
采集网站:https://movie.douban.com/subject/26363254/
使用功能点:
l 分页列表信息采集
豆瓣电影:豆瓣电影提供最新的电影介绍及评论包括上映影片的影讯查询及购票服务。你可以记录想看、在看和看过的电影电视剧,顺便打分、写影评。极大地方便了人们的生活。
豆瓣电影短评采集数据说明:本文进行了豆瓣-豆瓣电影-电影详情页面的评论信息采集。本文仅以“豆瓣-豆瓣电影-电影详情页面的评论信息采集”为例,大家在实操过程中,可根据自身需求,更换豆瓣的其他内容进行数据采集。
豆瓣电影短评采集字段详细说明:豆瓣用户ID,豆瓣评论时间,豆瓣评论内容,有用数量,是否看过。
步骤1:创建采集任务
1)进入主界面,选择“自定义模式”
2)将要采集的网址复制粘贴到网站输入框中,点击“保存网址”
步骤2:创建翻页循环
1)在页面右上角,打开“流程”,以展现出“流程设计器”和“定制当前操作”两个板块。网页打开后,下拉页面,找到并点击“更多短评”按钮,选择“点击该链接”
2)将页面下拉到底部,点击“下页”按钮,在右侧的操作提示框中,选择“更多操作”
3)选择“循环点击单个链接”,以建立一个翻页循环
步骤3:创建列表循环并提取数据
1)移动鼠标,选中页面里的第一条电影评论区块。系统会识别此区块中的子元素,在操作提示框中,选择“选中子元素”
2)系统会自动识别出页面中的其他同类元素,在操作提示框中,选择“选中全部”,以建立一个列表循环
3)我们可以看到,页面中第一条电影评论区块的所有元素均被选中,变为绿色。选择“采集以下数据”
4)选中字段,点击垃圾桶图标,可删除不需要的字段
5)字段选择完成后,选中相应的字段,可以进行字段的自定义命名。完成后,点击左上角的“保存并启动”
6)选择“启动本地采集”
步骤4:数据采集及导出
1)采集完成后,会跳出提示,选择“导出数据”。选择“合适的导出方式”,将采集好的数据导出
2)这里我们选择excel作为导出为格式,数据导出后如下图
说明:在未登录状态下,豆瓣电影短评只可翻页8次,采集160条左右的数据。如果想采集第8页以后的短评,需要在八爪鱼流程图中增加一个登录步骤(先登录豆瓣账号,再进行短评采集)。详情请参考:单个文本输入及点击登录方法(7.0版本)