淘宝商品信息采集
2017-09-20 09:37:37 阅读量: 44561
本文介绍采集使用八爪鱼7.0采集淘宝商品数据的方法(以淘宝商品搜索页为例)
采集网站:
https://s.taobao.com/search?initiative_id=tbindexz_20170918&ie=utf8&spm=a21bo.50862.201856-taobao-item.2&sourceId=tb.index&search_type=item&ssid=s5-e&commend=all&imgfile=&q=手表&suggest=history_1&_input_charset=utf-8&wq=&suggest_query=&source=suggest
使用功能点:
l 商品Url采集提取
l 创建url循环采集任务
l 商品信息采集
淘宝网:淘宝网是亚太地区较大的网络零售、商圈,由阿里巴巴集团在2003年5月创立。淘宝网[是中国深受欢迎的网购零售平台,拥有近5亿的注册用户数,每天有超过6000万的固定访客,同时每天的在线商品数已经超过了8亿件,平均每分钟售出4.8万件商品。
淘宝商品信息数据采集说明:本文进行了淘宝商品数据的采集,首先进入淘宝商品列表页,然后循环点击每个链接进入商品详情页,采集淘宝商品的信息。本文仅以“淘宝商品数据”为例,大家在实操过程中,可根据自身需求,更换淘宝网的其他内容进行数据采集。
淘宝商品信息数据采集详细说明:淘宝商品名称,淘宝商品累计评价,淘宝商品累计交易数量,商品价格,淘宝商品价格,淘宝店铺名称。
步骤1:创建采集任务
进入主界面选择,选择自定义模式
将上面网址的网址复制粘贴到网站输入框中,点击“保存网址”
保存网址后,页面将在八爪鱼采集器中打开,红色方框中的商品url,是这次演示采集的信息
步骤2:创建翻页循环
l 找到翻页按钮,设置翻页循环
将页面下拉到底部,找到下一页按钮,鼠标点击,在右侧操作提示框中,选择“循环点击下一页”
步骤3:商品url采集
l 选中需要采集的字段信息,创建采集列表
l 编辑采集字段名称
如图,移动鼠标选中列表中商品的名称,右键点击,需采集的内容会变成绿色,然后点击“选中全部”
选择“采集以下链接地址”
根据采集的情况选择合适的采集方式,这里选择“启动本地采集”
说明:本地采集占用当前电脑资源进行采集,如果存在采集时间要求或当前电脑无法长时间进行采集可以使用云采集功能,云采集在网络中进行采集,无需当前电脑支持,电脑可以关机,可以设置多个云节点分摊任务,10个节点相当于10台电脑分配任务帮你采集,速度降低为原来的十分之一;采集到的数据可以在云上保存三个月,可以随时进行导出操作。
步骤4:数据采集及导出
选择合适的导出方式,将采集好的数据导出
步骤5:创建url列表采集任务
重新创建一个采集任务,将导出后的商品链接复制,放到输入框中,点击“保存网址”
(注意:输入框中的url列表数量不要超过2W个,超过的部分可以新建任务进行采集,url打开的页面必须是相同网站样式相近的,否则会导致数据采集缺失。)
在页面中点击需要采集的文本数据,点击“采集数据”
打开流程图,修改采集字段名称,点击“保存并开始采集”
注意:点击右上角的“流程”按钮,即可展现出可视化流程图。
采集完成,点击“导出数据”
选择合适的导出方式,将采集好的数据导出。