【简易模式方法】京东批量list开头网址列表页信息采集
2017-11-01 20:37:07 阅读量: 15465
需要采集京东内容的,在网页简易模式界面里点击京东进去之后可以看到所有关于京东的规则信息,我们直接使用就可以的。
采集京东批量list开头网址列表页信息采集(下图所示)即打开京东主页输入关键词进行搜索后的列表页或通过一系列点击进行筛选后的列表页,采集该列表页所展现的内容。
通过本任务可以批量获取到商品详情链接,该链接可用商品详情采集和商品评价采集。
1、找到京东批量list开头网址列表页信息采集规则然后点击立即使用
2、下图简易模式中京东批量list开头网址列表页信息采集的任务操作界面,此任务仅需添加网址即可实现自动化采集。
查看详情:点开可以看到示例网址,示例网址为:http://list.jd.com/list.html?cat=737,794,798
任务名:自定义任务名,默认为京东批量list开头网址列表页信息采集
任务组:给任务划分一个保存任务的组,如果不设置会有一个默认组
列表页网址:填写以list开头的网址,即商品列表页。如需填入多个可用回车(Enter)分隔开,建议不超过2万条URL。示例:https://list.jd.com/list.html?cat=9987,653,655
示例数据:这个任务采集的所有字段信息
3、 规则制作示例
例如采集“手机”和“华硕15.6寸4G内存I5低功能处理的笔记本”的列表数据
任务名:自定义任务名,也可以不设置按照默认的就行
任务组:自定义任务组,也可以不设置按照默认的就行
列表页网址:提供要采集的以list开头的网页网址,即商品列表页的链接。支持填入多个网址,建议不超过2万条网址。
将鼠标移动到?号图标可以查看详细的注释信息。
设置好之后点击保存
保存之后会出现开始采集的按钮
4、 选择开始采集之后系统将会弹出运行任务的界面
可以选择启动本地采集(本地执行采集流程)或者启动云采集(由云服务器执行采集流程),这里以启动本地采集为例,我们选择启动本地采集按钮
5、选择本地采集按钮之后,系统将会在本地执行这个采集流程来采集数据,下图为本地采集的效果(示例中商品数据较多,为方便展示故先行停止采集,诸位可以根据需求决定是否采集完。)
6、采集完毕之后选择导出数据按钮即可,这里以导出excel2007为例,选择这个选项之后点击确定
7、然后选择文件存放在电脑上的路径,路径选择好之后选择保存
8、这样数据就被完整的导出到自己的电脑上来了