本文介绍使用八爪鱼采集1688-某店铺全部商品信息的方法

采集网站:

https://hooozen.1688.com/page/offerlist_63753737.htm?spm=a2615.2177701.0.0.35688ae8LEOoIT

 

使用功能点:

  Xpath

  AJAX点击和翻页

 分页列表信息采集



1688:1688以批发和采购业务为核心,通过专业化运营,完善客户体验,全面优化企业电子商务的业务模式。目前1688已覆盖原材料、工业品、服装服饰、家居百货、小商品等16个行业大类,提供从原料采购--生产加工--现货批发等一系列的供应服务。


1688店铺商品采集数据说明:本文进行了1688-商铺的所有商品进行采集。本文仅以“1688-商铺的所有商品进行采集”为例,大家在实操过程中,可根据自身需求,更换1688的其他内容进行数据采集。

 

1688店铺商品采集字段详细说明:店铺商品标题,店铺商品价格,店铺商品成交次数。


步骤1:创建采集任务

1)进入主界面,选择“自定义模式”

1

 

2)要采集的网址制粘贴到网站输入框中,点击“保存网址

2

 

步骤2:创建翻页循环

1)将页面下拉到底部,点击“下一页”按钮,在右侧操作提示框中,选择循环点击下一页

3

 

步骤3:创列表循环并提取数据

1)移动鼠标选中页面里的第一条商品信息的区块。系统会识别此区块中的子元素,在操作提示框中,选择“选中子元素”

4

 

2)系统会自动识别出页面中的其他同类元素,在操作提示框中,选择“选中全部”,以建立一个列表循环

5

 

3)我们可以看到,页面中企业信息区块里的所有元素均被选中,变为绿色。右侧操作提示框中,出现字段预览表,将鼠标移到表头,点击垃圾桶图标,可删除不需要的字段。字段选择完成后,选择“采集以下数据”

6

 

4)字段选择完成后,选中相应的字段,可以进行字段的自定义命名

7

 

步骤4:修改Xpath

1)我们继续观察,在“列表循环”步骤中,我们要建立的是整个页面18个商品链接的循环。选中整个“循环步骤”,打开“高级选项”,不固定元素列表中的这条Xpath://DIV[@id='wp-all-offer-tab']/DIV[1]/DIV[2]/DIV[1]/DIV[1]/DIV[1]/UL[1]/LI,对应的只有3个循环项。将此条Xpath,复制粘贴到火狐浏览器中的相应位置

8

Xpath:是一种路径查询语言,简单的说就是利用一个路径表达式找到我们需要的数据位置。

Xpath是用于XML中沿着路径查找数据用的,但是八爪鱼采集器内部有一套针对HTML的Xpath引擎,使得直接用XPATH就能精准的查找定位网页里面的数据。

 

2)在火狐浏览器中,我们发现,通过这条Xpath:

//DIV[@id='wp-all-offer-tab']/DIV[1]/DIV[2]/DIV[1]/DIV[1]/DIV[1]/UL[1]/LI,页面中被定位的是3个商品信息区块。而我们需要的是,本页中18个商品信息区块,均被选中 

9

 

3)将Xpath修改为://DIV[@id='wp-all-offer-tab']/DIV[1]/DIV[2]/DIV[1]/DIV[1]/DIV[1]/UL/LI

我们发现,页面中要采集的18个商品信息区块,均被选中了

10

 

4)将修改后的Xpath://DIV[@id='wp-all-offer-tab']/DIV[1]/DIV[2]/DIV[1]/DIV[1]/DIV[1]/UL/LI

复制粘贴到图片中所示的位置,然后点击“确定”

11

 

5)点击左上角的“保存并启动”,选择“启动本地采集”

12

 

步骤4:数据采集及导出

1)采集完成后,会跳出提示,选择导出数据”。选择合适的导出方式,将采集好的数据导出

13

 

2)这里我们选择excel作为导出为格式,数据导出后如下图

14