阿里巴巴图片抓取下载

2018-01-27 12:57:13 阅读量： 130865

本文介绍使用八爪鱼采集阿里巴巴图片的方法。

阿里巴巴上有很多高质量的商品图片。很多时候，我们想把这些的图片保存下来，应该怎么办？

使用八爪鱼采集器，只需做好规则，即可全自动地将我们的想要的图片采集下来。主要经过两大步：先将图片URL采集下来；再通过八爪鱼提供的图片批量下载工具，将URL批量转化为图片。

采集网站：

https://www.1688.com/chanpin/-D4CBB6AFB7FED7B0.html

本文仅以采集阿里巴巴“衣服”商品列表页举例说明。在实际操作过程中，大家可根据需要，更换要采集列表的url。还可使用URL列表循环，批量采集多个商品列表页面的图片。

本文采集的具体字段为：商品标题，商品URL，商品图片地址

使用功能点：

l 分页列表及详细信息提取

/tutorialdetail-1/fylbxq7.html

l AJAX滚动教程

/tutorialdetail-1/ajgd_7.html

步骤1：创建阿里巴巴图片采集任务

1）进入主界面，选择“自定义模式”，点击“立即使用”

2）将要采集的网址复制粘贴到网站输入框中，点击“保存网址”

步骤2：创建翻页循环

1）系统自动打开网页，进入阿里巴巴“衣服”商品列表页。观察网页结构，当把页面下拉至底部的时候，会加载出一批新的数据，随着我们的下拉，页面会有新的数据加载出来。经过2次下拉加载，此页面达到最底部，出现“下一页”按钮。

所以涉及Ajax下拉加载，需要对其进行一些高级选项的设置。点击右上角的“流程“按钮，选中左侧的“打开网页”，打开“高级选项”，勾选“页面加载完成后向下滚动”，设置滚动次数为“5次”，每次间隔“2秒”，滚动方式为“直接滚动到底部”，最后点击“确定”

注意：这里的滚动次数及间隔时间，需要针对网站情况进行设置，并不是绝对的。一般情况下，间隔时间>网站加载时间即可。有时候网速较慢，网页加载很慢，还需根据具体情况进行调整。

具体请看：八爪鱼7.0教程——AJAX滚动教程

/tutorialdetail-1/ajgd_7.html

2）将页面下拉到底部，点击“下一页”按钮，在右侧的操作提示框中，选择“循环点击下一页”

与“打开网页”类似，此步骤同样涉及Ajax下拉加载。点击左侧流程中的“点击翻页”，打开“高级选项”，勾选“页面加载完成后向下滚动”，设置滚动次数为“5次”，每次间隔“2秒”，滚动方式为“直接滚动到底部”，最后点击“确定”

步骤3：创建列表循环并提取阿里巴巴图片数据

1）移动鼠标，选中页面里要采集的数据。下面选中的是图片，商品标题，选中后，系统会自动识别页面里的其他相似链接。在右侧操作提示框中，选择“选中全部”。

2）选择“采集数据”并点击

3）字段信息选择完成后，选中相应的字段，可以进行字段的自定义命名。完成后，点击“确定”

4）接下来为将图片URL批量导出为图片做准备。点击“添加特殊字段”，选择“添加固定字段”，输入“E:\阿里巴巴图片采集\”，其中“E:\\”为图片存储盘，“阿里巴巴图片采集”为图片保存文件夹名

步骤5：阿里巴巴图片数据采集及导出

1）点击左上角的“开始采集”，选择启动“本地采集”

注：本地采集占用当前电脑资源进行采集，如果存在采集时间要求或当前电脑无法长时间进行采集可以使用云采集功能，云采集在网络中进行采集，无需当前电脑支持，电脑可以关机，可以设置多个云节点分摊任务，10个节点相当于10台电脑分配任务帮你采集，速度降低为原来的十分之一；采集到的数据可以在云上保存三个月，可以随时进行导出操作。

采集完成后，会跳出提示，选择“导出数据”。选择“合适的导出方式”，将采集好微博发博数据导出，这里我们选择excel作为导出为格式，数据导出后如下图所示。