【简易模式采集】京东商品评论采集方法
2017-11-01 20:53:18 阅读量: 28635
需要采集京东内容的,在网页简易模式界面里点击京东进去之后可以看到所有关于京东的规则信息,我们直接使用就可以的。
采集京东商品评论(下图所示)即打开京东主页输入关键词进行搜索,采集搜索到的内容。
1、找到京东商品评论规则然后点击立即使用
2、简易模式中京东商品评论的任务界面介绍
查看详情:点开可以看到示例网址
任务名:自定义任务名,默认为京东商品评论
任务组:给任务划分一个保存任务的组,如果不设置会有一个默认组
商品评论URL列表:提供要采集的网页网址,即商品评论页的链接。每个商品的链接必须以#comment结束,这个链接可以在商品列表点评论数打开后进行复制。或者自己打开商品链接后手动添加,如果没有这个后缀可能会报错。多个商品评论输入多个商品网址即可。
将鼠标移动到?号图标可以查看详细的注释信息。
示例数据:这个规则采集的所有字段信息。
3、 任务设置示例
例如要采集格力空调KFR-35GW/(35592)FNhDa-A3 和小米6 全网通 6GB+128GB
的评论信息。
在设置里如下图所示:
任务名:自定义任务名,也可以不设置按照默认的就行
任务组:自定义任务组,也可以不设置按照默认的就行
商品评论URL列表:https://item.jd.com/1993092.html#comment
https://item.jd.com/4957824.html#comment
一行一个,使用回车(Enter)进行换行。
注:URL列表中建议不超过2万条,大量的URL可以通过八爪鱼先从商品列表页批量获取。少量的URL可以直接在京东官网搜索后复制黏贴到八爪鱼中。
如京东首页https://www.jd.com/搜索“小米6”后,点击列表中的一个商品进入详情页,找到评论后点击“商品评价”,然后复制网址https://item.jd.com/4099139.html到URL列表中,最后在https://item.jd.com/4099139.html后面加上#comment。
设置好之后点击保存
保存之后会出现开始采集的按钮
4、 选择开始采集之后系统将会弹出运行任务的界面
可以选择启动本地采集(本地执行采集流程)或者启动云采集(由云服务器执行采集流程),这里以启动本地采集为例,我们选择启动本地采集按钮
5、选择本地采集按钮之后,系统将会在本地执行这个采集流程来采集数据,下图为本地采集的效果(示例中商品评论数据较多,为方便展示故先行停止采集,诸位可以根据需求决定是否采集完。此外由于京东网站自身问题,评论数据在采到一定量后会出现整页整页的重复。实测在浏览器中翻到一定页数后,网站就只给返回重复数据,目前无解决方案。)
6、采集完毕之后选择导出数据按钮即可,这里以导出excel2007为例,选择这个选项之后点击确定
7、然后选择文件存放在电脑上的路径,路径选择好之后选择保存
8、这样数据就被完整的导出到自己的电脑上来了