亚马逊商品销售排行榜信息采集
2017-08-30 11:48:47 阅读量： 26210
采集网站：
https://www.amazon.cn/gp/bestsellers/gift-cards/ref=sv_gc_0
使用功能点：
lXpath修改
亚马逊：亚马逊公司是美国最大的一家网络电子商务公司，位于华盛顿州的西雅图。亚马逊及其它销售商为客户提供数百万种独特的全新、翻新及二手商品，如图书、影视、音乐和游戏、数码下载、电子和电脑、家居园艺用品、玩具、婴幼儿用品、食品、服饰、鞋类和珠宝、健康和个人护理用品、体育及户外用品、玩具、汽车及工业产品等。
亚马逊采集数据说明：本文进行了亚马逊-礼品卡销售排行榜的商品信息采集。本文仅以“亚马逊-销售排行榜的商品信息采集”为例。大家在实操过程中，可根据自身需求，更换亚马逊的其他内容进行数据采集。
亚马逊采集字段详细说明：商品标题、商品评论星级、商品评论数量、商品价格。
步骤1：创建采集任务
1）进入主界面，选择“自定义采集”
2）将要采集的网站URL复制粘贴到输入框中，点击“保存网址”
步骤2：创建翻页循环
1）将页面下拉到底部，点击“1-20“，然后在右侧的提示框中选择“选中全部”
2)然后在右侧的操作提示框中，选择“循环点击每个链接”
步骤3：提取商品信息
1）移动鼠标，选中页面里的第一条商品内容，选中后，评价框会变成绿色，其中的字段会变为红色底色。选择右侧操作提示框中的“选中子元素”
2）之后接着选择“选中全部”
步骤4：Ajax点击
1）因为该网使用了Ajax技术脚本，所以我们在“点击元素”时候，可以设置AJax点击加载，如下图，鼠标先点击左边流程规则中的“点击元素”，然后打开高级选项进行设置，在AJax加载一项中勾选AJax加载数据，超时2秒，
注:AJAX即延时加载、异步更新的一种脚本技术，通过在后台与服务器进行少量数据交换，可以在不重新加载整个网页的情况下，对网页的某部分进行更新。
表现特征：1、点击网页中某个选项时，大部分网站的网址不会改变；2网页不是完全加载，只是局部进行了数据加载，有所变化
如何验证：点击操作后，在浏览器中，网址输入栏不会出现加载中的状态或者转圈状态。
步骤5：修改Xpath
点击左上角的“保存并启动”，选择“启动本地采集”。采集过程中我们发现，采集的数据出现大量重复。手动运行检查整个采集流程，我们发现在翻页循环的时候，数据并没有定位到下一页。所以需要修改Xpath
1）选择第一个“循环”步骤，打开高级选项，查看固定元素列表文本，可以看到第一条和后面的格式不一样，所以参照后面的对第一条的格式进行修改
2）修改以后，文本列表如下图
3）然后选择“保存并启动”，启动本地采集，再次采集数据
步骤5：数据采集及导出
1）采集完成后，会跳出提示，选择“导出数据”选择“合适的导出方式”，将采集好的数据导出
2）这里我们选择excel作为导出为格式
导出后的数据如下图
