1688店铺商品信息以及买家评价采集
2017-08-28 10:49:30 阅读量： 31210
本文介绍使用八爪鱼采集1688-某店铺全部商品评价的方法
采集网站：
https://hooozen.1688.com/page/offerlist_63753737.htm?spm=a2615.2177701.0.0.35688ae8LEOoIT
使用功能点：
1688：1688是中国领先的小企业国内贸易电子商务平台。作为阿里集团旗下子公司，1688在CBBS电子商务体系中代表企业的利益，为全球数千万的买家和供应商提供商机信息和便捷安全的在线交易，也是商人们以商会友、真实互动的社区。
1688商铺商品评价采集数据说明：本文进行了1688-店铺商品评价进行采集。首先进入店铺所有宝贝页面，然后循环点击每一个宝贝链接，进入之后再依次采集该宝贝商品评价。本文仅以“1688-店铺商品评价采集”为例，大家在实操过程中，可根据自身需求，更换1688的其他内容进行数据采集。
1688商铺商品评价采集字段详细说明：商品标题、商家名称、商家地区，买家ID，买家购买数量，买家累计采购，买家购买时间，买家评论内容。
步骤1：创建采集任务
1）进入主界面，选择“自定义模式”
2）将要采集的网址复制粘贴到网站输入框中，点击“保存网址”
步骤2：创建翻页循环
1）将页面下拉到底部，点击“下一页”按钮，在右侧的操作提示框中，选择“循环点击下一页”
步骤3：创建列表循环
1）移动鼠标，选中页面里的第一条商品链接，接着再选中第2、3、4条商品链接。选中后，系统会自动识别页面里的其他相似链接。在右侧操作提示框中，选择“循环点击每个元素”，以创建一个列表循环
步骤4：提取商品信息
1）在创建列表循环后，系统会自动点击第一条商品链接，进入商品详情页。点击需要的字段信息，在右侧的操作提示框中，选择“采集该元素的文本”
2）继续点击要采集的字段，选择“采集该元素的文本”。采集的字段会自动添加到上方的数据编辑框中。选中相应的字段，可以进行字段的自定义命名
3）下拉页面并点击“评价”按钮，在操作提示框中，选择“点击该链接”
由于此网页涉及Ajax技术，我们需要进行一些高级选项的设置。选中“点击元素”步骤，打开“高级选项”，勾选“Ajax加载数据”，设置时间为“2秒”
注：AJAX即延时加载、异步更新的一种脚本技术，通过在后台与服务器进行少量数据交换，可以在不重新加载整个网页的情况下，对网页的某部分进行更新。
表现特征：a、点击网页中某个选项时，大部分网站的网址不会改变；b、网页不是完全加载，只是局部进行了数据加载，有所变化。
验证方式：点击操作后，在浏览器中，网址输入栏不会出现加载中的状态或者转圈状态。
步骤5：提取商品评价
1）点击“评价”按钮后，页面出现商品评价。下拉页面，找到并点击“下一页”按钮，选择“循环点击下一页”，以建立一个翻页循环
由于此网页涉及Ajax技术，我们选中“点击翻页”步骤，打开“高级选项”，勾选“Ajax加载数据”，设置时间为“2秒”
2）选中页面中第一个评价区块，选择“选中子元素”
3）系统会自动识别出页面中的其他同类元素，在操作提示框中，选择“选中全部”，以建立一个列表循环
4）我们可以看到，页面中商品评价区块里的所有元素均被选中，变为绿色。右侧操作提示框中，出现字段预览表，将鼠标移到表头，点击垃圾桶图标，可删除不需要的字段。字段选择完成后，选择“采集以下数据”
5）字段选择完成后，选中相应的字段，可以进行字段的自定义命名
步骤5：调整流程图结构
回顾采集过程，操作思路是： 打开要采集的网页>建立商品链接的翻页循环>建立商品链接的循环列表>点击商品链接，进入商品详情页>建立商品评价的翻页循环>建立商品评价的列表循环>提取评价
已有的流程图没有遵循此逻辑，我们需要手动调整一下流程图结构
1）选中整个“循环”步骤（商品链接的循环列表），将其拖入到第1个“循环翻页”步骤和到第2个“循环翻页”步骤之间
拖动完成后，位置如图
2）选中整个“循环翻页”步骤（商品评价的循环翻页），将其拖入到整个“循环”（商品链接的循环列表）步骤中
拖动完成后，位置如图
步骤6：修改Xpath
点击左上角的“保存并启动”，选择“启动本地采集”。采集过程中我们发现，采集的数据出现大量重复。
1）选中整个“循环翻页”步骤，打开“高级选项”，将单个元素列表中的这条Xpath：//A[text()='下一页']，复制粘贴到火狐浏览器中的相应位置
Xpath：是一种路径查询语言，简单的说就是利用一个路径表达式找到我们需要的数据位置。
Xpath是用于XML中沿着路径查找数据用的，但是八爪鱼采集器内部有一套针对HTML的Xpath引擎，使得直接用XPATH就能精准的查找定位网页里面的数据。
2）在火狐浏览器中，我们发现，要采集的评论已经翻到最后一页（第11页）了的时候，使用此条Xpath：//A[text()='下一页']，依旧能找到“下一页”按钮，即一直都可以点击这个按钮进行采集，循环无法结束
3）返回八爪鱼采集器，选择“自定义”
勾选"元素Class=next“，元素匹配的Xpath为：“//A[@class='next']”
4）将修改后的Xpath：//A[@class='next']，复制粘贴到火狐浏览器中。我们发现，当评论翻到第1-10页时，能够定位到“下一页”。当翻到最后一页（第11页）的时，不能定位到“下一页”。翻页死循环的问题得到解决
5）点击左上角的“保存并启动”，选择“启动本地采集”，再次启动采集任务
步骤7：数据采集及导出
1）采集完成后，会跳出提示，选择“导出数据”。选择“合适的导出方式”，将采集好的数据导出
2）这里我们选择excel作为导出为格式，数据导出后如下图
