京东商品信息采集（以京东图书类商品页为例）
2017-08-14 14:12:51 阅读量： 62287
本文介绍使用八爪鱼7.0采集京东商品数据的方法（以京东图书类商品页为例）
采集网站：
https://list.jd.com/list.html?cat=1713,3258,3304&page=1&sort=sort_totalsales15_desc&trans=1&JL=4_2_0#J_main
京东：京东JD.COM-专业的综合网上购物商城，销售超数万品牌、4020万种商品，囊括家电、手机、电脑、母婴、服装等13大品类。秉承客户为先的理念，京东所售商品为正品行货、全国联保、机打发票。
数据说明：本文采集京东-图书分类-文学综合馆-悬疑类别下的图书商品信息。在打开要采集的URL后，我们没有点击商品链接，进入商品详情页，而直接以商品区块建立列表循环，采集每个商品信息。
具体字段：价格、书名、评价数量、所属店铺。
使用功能点：
l 分页列表内容提取
步骤1：创建采集任务
进入主界面选择，选择自定义模式
将上面网址的网址复制粘贴到网站输入框中，点击“保存网址”
保存网址后，页面将在八爪鱼采集器中打开，红色方框中的图书数据是这次演示采集的信息
步骤2：创建翻页循环
l 找到翻页按钮，设置翻页循环
将页面下拉到底部，找到下一页按钮，鼠标点击，在右侧操作提示框中，选择“循环点击下一页”
步骤3：图书信息采集
l 选中需要采集的字段信息，创建采集列表
l 编辑采集字段名称
如图，移动鼠标选中列表中图书的名称，右键点击，需采集的内容会变成绿色
注意：点击右上角的“流程”按钮，即可展现出可视化流程图。
移动鼠标，逐一选中第一个商品内所需要的字段，然后点击智能辅助框里面的「选中全部」按钮，列表中所有适配内容会变成绿色；此外，你还可以将不需要的字段删除.
注意： 鼠标放在该字段上会出现一个删除标识，点击即可删除该字段。
修改采集字段名称
点击下方红色方框中的“保存并开始采集”
根据采集的情况选择合适的采集方式，这里选择“启动本地采集”
说明：本地采集占用当前电脑资源进行采集，如果存在采集时间要求或当前电脑无法长时间进行采集可以使用云采集功能，云采集在网络中进行采集，无需当前电脑支持，电脑可以关机，可以设置多个云节点分摊任务，10个节点相当于10台电脑分配任务帮你采集，速度降低为原来的十分之一；采集到的数据可以在云上保存三个月，可以随时进行导出操作。
步骤4：数据采集及导出
采集完成后，会跳出提示，选择“导出数据”
选择合适的导出方式，将采集好的数据导出
移动鼠标，逐一选中第一个商品内所需要的字段，然后点击智能辅助框里面的「选中全部」按钮，列表中所有适配内容会变成绿色；此外，你还可以将不需要的字段删除，然后点击“选中全部”
