重复数据定义：两条数据的所有字段的内容都是一样的，那么软件就会判断这两条数
据是重复的。云采集的数据在导入云服务器的数据库中时会自动去重，所以用户查看
到的和导出的云采集数据都是不重复的。本地采集的数据可在导出时，会有弹窗提示
是否去重，用户根据需要选择即可。
另外八爪鱼也有自带的根据字段去重的功能，可以自己设置根据提取的某个字段去判
定数据重复而选择去重，
具体可以参考这个教程：https://www.bazhuayu.com/tutorial8/zdqc
若还有疑问可加企业微信群咨询！
菜单
采集到的数据如何去除重复数据？
上一个
在打开详情页时，设置在新标签中打开则无法提取到数据，不设置在新标签中打开则只能提取到一条数据，循环无法跳回。
下一个
数据需要一层一层打开页面才能抓到？单击不行，双击才能打开页面？
最近修改: 2023-11-03
- 八爪鱼登录/登陆时提示“超时，请稍后重试”
- 安装八爪鱼，安装成功后无法启动怎么办？
- 谷歌xphah 插件装不上？拖入扩展程序的时候，谷歌识别为“扩展包无效”
- 如何下载8.4.6版本？
- 八爪鱼有苹果IOS系统/mac版本的安装包吗？
- 八爪鱼软件怎么下载
- 只有客户端吗？
- 八爪鱼有手机APP吗?
- 客户端下载不下来啊？
- windows10系统可以安装八爪鱼吗？
- 八爪鱼有手机APP吗
- 安装八爪鱼采集器常见问题汇总
- 安装软件提示要购买
- 版本充值后账号未升级？
- 客户端数是什么？
- 如何查看错误日志/Log日志？
- 登录八爪鱼，提示无网络链接，请检查是否连上互联网？
- 有32位的操作系统吗？
- 如何切换账号
- 如何下载八爪鱼7版本并安装？
- 官网下载安装客户端后，打开客户端提示要升级，但是没有升级按钮导致一直卡在提示升级界面
- 无法采集数据？
- 如何使用相对XPATH采集数据/什么情况下会出现相对XPATH？
- 经常白屏显示about：black
- 如何借助火狐浏览器以及firebug、firepath插件查看网页源码，修改xpath？
- 翻页采集数据不全怎么办？
- 什么是XPATH/如何学习xpath？
- 网页在八爪鱼中打不开怎么办？
- 如何利用xpath中的position()和last()去掉option标签中的无用元素？
- 网页一直在加载或加载很久怎么办？
- 单个元素 / 固定元素列表 / 不固定元素列表是什么？
- 八爪鱼可以一起采集，然后每个标题分别导出嘛？
- 如何既采集列表，又采集详情中的数据？
- 点击元素采集的时候，下面数据预览是空的
- 需要翻页的网页如何采集？
- 提示任务版本不一致？
- 如何设置循环翻页的次数？
- 八爪鱼可以将采集到的数据发布到网站吗？
- 如何下载最新版本八爪鱼？
- 网页包含Iframe框架怎么处理?
- 本地加速同时任务数/云采集加速
- 代理IP如何使用？
- 可以采集图片吗/如何采集图片？
- 点击循环列表不能返回上一级网页，并显示找不到匹配元素，这是为什么呢？
- 怎么清除cookie
- 局部滚动
- 如何设置翻页次数？
- 八爪鱼可以一起采集，然后每个标题分别导出嘛？
- 网站本身有页码限制，可以突破限制？
- 怎么切换浏览器?
- 您好，自定义的手动输入网址只能采取1万条数据吗？
- 数据预览怎么展开？
- 需要登录账号的网站如何采集？
- 可以设置几个本地定时采集任务数？
- 点击元素跳转第二页，配置提取数据的时候，就会白屏卡住了，这是咋回事呀
- 采集过程中网站加载失败怎么重新加载
- 为什么设置了cookie登录，启动采集后还是提示需要登录？
- 你好，我想下载某个网站中的视频如何操作？
- 八爪鱼采集器为什么打不开？
- 支持textarea吗？
- 登录时有拖动的验证码/滑块验证的应该怎么办？
- 设置了批量输入文本，为什么只会爬取第一个文本的数据？
- 假如使用判断语句 哪个命令是暂停的功能？
- IP一般建议多久切换一次
- 怎么关闭自动识别
- 网站防采集，采集过程中出现验证码怎么办？
- 对于要使用Ukey和CA的网站，怎么用八爪鱼登录？
- 广告屏蔽功能说明
- 电脑IP被封了，网页打不开了？
- 什么是判断条件？有什么作用以及使用要点有哪些？
- 如何清除缓存？
- 如何打开多个网址(URL)进行采集？URL循环列表最多可以放多少条？
- 如何采集商品的图片？
- 网页有循环下拉框需要筛选的怎么采集？循环下拉框如何使用？
- 八爪鱼可以设置采集当前时间吗？(采集时间)
- 采集特定数据？如不出现某些文字的时候就不采集
- 打开网页或点击元素后，出现异常弹窗怎么办？
- 什么是触发器，如何使用？
- 网站需要登录用户名和密码的，能采集么？
- 如何采集详情页的数据？
- 如何批量获取/采集某网站数据？
- 有多个网页怎么做规则去采集？
- 如何去除段落？
- 采集的网站有iframe框架怎么办？
- 生成循环列表时，出现的不是教程中的“点击元素”而是“提取数据”，如何处理？
- 如何格式化数据？
- URL循环如何使用？
- 提取到的文本数据，有很多空格如何处理？
- 制作规则和手动执行时有数据，但本地采集和云采集均无数据？
- 云采集为什么比本地采集还慢？
- 如何分配任务节点？
- 一直在第一第二页重复采集怎么办？一二页循环采集，不采集后面的数据？
- 网页上没有下一页按钮，如何实现翻页采集？特殊翻页如何采集？
- 正则表达式是什么，有什么用，如何使用正则表达式？数据格式化里的正则表达式怎么用？
- 什么是ajax/何时要设置AJAX/如何设置AJAX？
- 如何创建循环？循环翻页/循环提取数据怎么使用？
- 怎样创建循环翻页？
- 文本循环如何使用？如何批量输入关键词进行搜索？
- 如何用XPATH自定义抓取特定网页文字？
- 如何采集带“更多信息”、“加载更多”、“查看更多”之类的网站？
- 如何利用xpath中的following-sibling和preceding-sibling定位标签？
- 什么是不固定元素列表？
- 如何采集列表数据？
- 没有翻页按钮，通过选择日期、地址等方式来进行翻页，该如何处理？
- 如何通过关键词/关键字采集搜索结果？
- 点击下一页按钮，不出现循环点击下一页怎么办？
- 为什么每次清理cookie就未响应了？
- 如何自定义字段提取数据？
- 在打开详情页时，设置在新标签中打开则无法提取到数据，不设置在新标签中打开则只能提取到一条数据，循环无法跳回。
- 采集到的数据如何去除重复数据？
- 数据需要一层一层打开页面才能抓到？单击不行，双击才能打开页面？
- 需要搜索或者输入一批关键词，在采集搜索之后的结果怎么操作？
- json采集如何自定义request header？
- 循环下拉框是否可以嵌套？如何嵌套？
- 增量采集功能说明
- 页面需要滚动，滚动条下拉才加载的数据应该如何采集？
- 打开网页后，页面加载不全/显示不全怎么办？
- 网页源码有图片地址，但是软件识别不出来，没有“采集该图片地址”的选项怎么办？
- 数据被不断替换，怎么办？
- 正则工具如何使用
- 元素是什么？
- 编写规则时，页面跳转到新页面，无法继续编辑怎么办？
- 如何设置循环翻页的次数？
- 如何切换任务中网址
- 企业版能不能解决网站的反爬？
- 海外网站怎么采集？
- 一直采集最后一页怎么办？
- 什么是翻页死循环？
- 能不能采集抖音团长信息？
- 为什么任务之前采集正常，现在采集不了了？
- 在哪里修改字段的xpath？
- 在哪里修改循环翻页的xpath？
- 在哪里修改循环列表的xpath？
- 一个任务可以输入多个关键词采集吗？
- 只想采集当天或者指定时间的数据怎么设置？
- 采集时前半程没问题，后面就采不到数据或者只能采到极少数的数据？
- 可以采集抖音评论数据吗？如何采集？
- 为什么只能采集1条数据就结束了？
- 无标题文章
- 采集新闻类数据时，正文字段中怎么配置可以既采集到文字，又能采集到两行文字中间穿插的图片呢？
- 需要展开全文的怎么采集？
- 如何调用API接口导出数据？
- 导出数据是否有上限？超过上限怎么办？
- read ECONNRESET
- ER_NO_DEFAULT_FOR_FIELD:Fied'art_title'doens't have a default value
- 采集完可以进行批量处理吗
- 可不可以导出txt格式
- 请问怎么只导出部分数据？
- API导出数据size最大是1000条，如果一次性采集的数据超过1000条，应该怎么导出
- 怎么导出excel表格?
- 导出到数据库不成功怎么办？
- 可以导出到某某某数据库吗？
- mysql无法连接到指定的数据库，详细信息：Reading from the stream has failed.如何解决？
- 数据导入远程数据库被拒？
- 任务保存与数据存储？
- 数据量大，如何导出？
- 采集到的数据无法导出excel文件？
- 采集的数据导出到文件的数据条数说明
- 自动导出任务计划是自动同步的吗？能否在多台电脑查看计划？
- 八爪鱼支持导出数据到mysql数据库吗？
- 采集好的任务数据存在什么地方？
- 数据导出在Mysql中提示成功，但数据库中查不到数据？
- 为什么定时导出数据到数据库没有生效？
- 怎么设置定时导出数据到本地文件？
- 多个任务的数据可以导出到同一个excel文件吗？
- 数据预览的数据可以直接导出吗？
- 采集完成后导出数据失败怎么办？
- 点击导出数据没反应？
- 采集到数据之后，如何手动或者自动导入数据库？
- 导出到远程数据库Mysql，在导出向导中看不到表字段？
- 数据导出到数据库出现错误“Fatal error encountered during command execution”？
- 采集到的数据上传到自己的网站上吗？
- 帮我查下一下我还剩多少导出余额吗？
- 能采集什么数据/能采集XX网站吗/能采集XX行业数据吗？
- 能采集电话号码吗？哪些电话号码可以采集？
- 请问免费版本一次性可以导出多少条数据
- 能采集QQ邮箱/用户浏览数据/卖家信息/客户数据吗？
- 付费后是否能加速采集
- 能采集网页中的文本/链接/图片/视频/音频/html源码吗？
- 可以采集微信公众号/小程序/好友/朋友圈吗？
- 能采集可以采集国外网站的数据吗？需要翻墙怎么办？
- 八爪鱼是否可以实时采集？数据源一更新就马上采集？
- 没有在教程和常见问题中找到答案怎么办？
- 任务停止后，下次采集时可以从停止的地方继续采集吗？
- 免费版只能爬取到图片数据吗？
- 能不能爬取百度指数？
- 云采集是否可以避免IP被限制采集的情况？
- 团队版云采集可以同时运行多少个云采集任务？
- 云节点是什么
- 采集数据时，采集到一半突然断开/终止怎么办？
- 免费版只能爬取到图片数据吗？
- 任务能不能用加速，需要满足加速条件，什么样的规则可实现云加速？
- 云采集加速设置
- 只采集最近的数据，是否能实现
- 怎么查看云采集日志？
- 采集过程中漏数据？
- 动态会更新数据的网页怎么爬
- 采集有问题，如何进行排错？
- 免费版加速采集
- 怎么优化规则？
- 免费版只能采集8个数据吗
- 八爪鱼可以暂停采集吗？
- 提取数据出错怎么办？提取不到数据如何处理？
- 怎么提升采集效率？
- 翻页最后一页死循环？一直重复采集最后一页数据怎么办？
- 一些数据采集不到？采集数据有空白的解决方案
- 可以关机采集吗？
- 什么是云采集？云采集有什么用？怎么使用云采集？
- 八爪鱼团队协作功能是什么？
- 为什么云采集数据与本地采集数据不同？
- 本地采集一段时间，采集到一定数据量后程序闪退？
- 同一个规则之前可以采到数据，后来采不到数据或者采集的数据不全？
- 采集时某些数据字段漏了，但网页中又有这些字段
- 重复采集第一/二页？翻页死循环？
- 没有采集到数据就提示采集完成了？运行采集后，马上提示采集完成？
- 只抓取了少部分数据，任务卡住或提示采集完成？
- 八爪鱼可以同时采集多个任务吗？
- 本地采集数据一直不增加？
- 可以采集亚马逊的数据吗？
- 可以采集微信文章的永久链接吗？
- 网页打开异常，有http状态码时怎么办？
- 采集的过程中出现网页状态码200，采集不到数据应该如何处理？
- 本地采集有数据，云采集没数据？
- 云采集去重原则
- 如何使用云采集？
- 云采集漏数据可能原因与排查方法
- 采集时遇到每一页都重复采集第一条数据？
- 提取到的数据有重复数据？
- 本地采集数据比较慢？
- 网站总数据有300页，但只显示50页如何处理？
- 任务的优先级怎么设置？
- 为什么采集到60条信息，还是一直采集状态，但是信息就一直60条？
- 抖音私信可以采集吗
- 可以采集文件吗？
- 可以采集电话号码吗？
- 自动采集网页里面的所有内容
- 为什么云采集数据还有本地加速模式与本地普通模式采集数据不同？
- 豆瓣上的图片数据怎么采集？
- 八爪鱼有伪原创功能吗？
- 可以采集什么数据
- 八爪鱼能采什么数据？
- 采集数据比较慢？
- 八爪鱼可以采集哪些数据？
- 你好，海外ip代理有吗？
- 可以采集闲鱼吗？
- 八爪鱼可以设置定时采集吗？
- 网页上面的一些词组把他们提取出来。要怎么弄
- 如何采集网页上的数据？
- 花多少钱都不能采集电话号码吗
- 采集网址是付费项目么？
- 八爪鱼如何抓取数据？
- 八爪鱼可以采集拼多多吗？
- 这个网址无法采集吗？
- 八爪鱼可以批量给微博用户发私信吗？
- 可以抓取小红书内容吗
- 可以采集微信公众号的历史文章吗？
- 请问这个软件适合外贸吗？
- 可以采集电商数据吗？
- 可以采集二维码吗？
- 八爪鱼是一款什么样的软件？
- 八爪鱼可以部署到服务器吗？
- 网页提交的表单数据可以抓取吗？
- 采集到的商品数据可以上传到淘宝店铺吗？
- 可不可以采集邮箱？如何采集邮箱？
- 可以采集房源的数据吗？
- 美团采集
- 可以采集微信公众号吗，怎么采？
- 可以采集标题吗？
- 八爪鱼可以采集卖家数据信息吗？
- 可以采集什么网站/可以采集某某行业的数据吗？
- 可以爬取facebook和twitter数据吗？
- 八爪鱼是否支持抓取整站内容？
- 怎么通过爬虫下载vip资源或者付费资源？
- 有没有人工培训？
- 这个软件可以收集客户信息不？
- 八爪鱼有创建社群的功能吗？
- 这个软件采集的数据可以对接织梦后台么？
- 可以采集Json数据吗，怎样采集json类型的数据？
- 如何采集58同城？
- 鼠标移到上面才显示的信息如何采集？
- 如何快速采集数据？
- 八爪鱼是否可以同步/实时采集,实时监控某一个网站？数据源处更新，采集的数据也同步更新？
- 可以采集微信群和微信朋友圈的信息吗？
- 百度知道怎么采集？
- 八爪鱼可以分析数据吗？
- 马蜂窝美食栏目下的评论信息如何采集？
- 微图/数多多还可以用吗？
- 如何采集阿里巴巴商家数据/1688商品店铺数据？
- 八爪鱼可以画词云图吗？
- 如何采集网页的html源代码？
- 八爪鱼采集器和八爪鱼RPA的区别是什么？
- 抖音私信可以采集吗
- 可以采集文件吗？
- 免费版采集有数量限制吗？
- 网页里面的附件如word、pdf、ppt等文件如何下载？
- 可以采集电话号码吗？
- 可以采集APP上的数据吗？
- 自动采集网页里面的所有内容
- 请问代理IP有啥用？
- 豆瓣上的图片数据怎么采集？
- 可以采集什么数据
- 八爪鱼能采什么数据？
- 采集数据比较慢怎么办？
- 网址在浏览器中可以打开但在八爪鱼打不开
- 八爪鱼可以设置定时采集吗？
- 采集数据是否有限制
- 网站防采集了怎么办？
- 八爪鱼可以采集手机APP里面的数据吗？
- 如何采集网页上的数据？
- 如何采集表格？
- 可以采集国外网站的数据吗？
- 只能抓取网页数据吗
- 八爪鱼的采集原理是什么？
- 可以采集微信好友吗？
- 八爪鱼可以采集微信小程序里面的数据吗？
- 自定义采集模式是什么？
- 不知道采集的网址\网站，但是想要数据可以吗？
- 可以采集/抓取地图信息吗?比如百度地图、谷歌地图、高德地图？
- 八爪鱼可以进行网站建设吗？
- 可以采集高德地图的商家数据吗？如何采集？
- 百度搜索结果\内容怎么采集？
- 如何批量采集网页链接地址（URL）,然后通过循环打开这些链接去采集详情页数据（URL循环）？
- 经纬度坐标信息如何采集？
- 如何采集全国家具建材经销商信息？
- 八爪鱼可以采集新闻吗？如今日头条、环球网、36氪
- 如何采集网站上的小说？
- 可以采集QQ群成员吗？
- 可以采集简历吗？
- 大众点评的数据能不能采集，怎么采集大众点评的数据？
- 八爪鱼可以采集贷款数据吗？如何采集？
- 如何采集电影数据？
- 如何使用八爪鱼抓取网址？
- 汽车行业的数据怎么采集？
- 加密的数据可以采集吗？
- 页面结构不规整的网站可以采集吗？
- 淘宝的sku能采集吗？
- 海外网站可以采集吗？
- 请问云采集无法访问外网怎么解决？
- 为什么会有大量重复数据？
- 为什么在浏览器里打开正常，在采集器内打开是空白的？
- 本地采集卡死怎么办、
- 有验证码的网站可以采集吗？
- 为什么只采集1条数据就结束了？
- 什么是翻页死循环？
- 采集过程中卡死怎么办？
- 采集淘宝天猫经常出现验证怎么办？
- 网页无法打开怎么办？
- 任务配置好了，怎么导出数据？
- 怎么设置只采集前几页的数据？
- 可以从上次停止的地方开始采集吗？
- 付费会员后可以解决淘宝天猫的反爬吗？
- 云采集漏数据原因？如何排查？
- 微博评论爬取数据后，为什么那么多重复的数据出现？
- 微博博主博文爬取数据后，为什么那么多重复的数据出现？
- 淘宝天猫验证无法通过怎么办？
- 用咱们的工具会被封IP吗？
- 可以通过接口修改登录cookie吗？
- 我采集出来的数据，想要一个自动增加的序号字段，就是采集过程中，采集第一条为1，第二条为2
- 抖音的数据怎么采集？
- 可以抓取淘宝订单吗？
- 怎么抓推特的博主博文数据呢？
- 淘宝评论可以提取吗？
- 八爪鱼有海外版吗
- 为什么有的网页点击之后没有选中子元素这一项呢?
- 如何采集微博数据？
- 假如我想采集淘宝和拼多多同样的商品应该怎么采集？
- 你好，我想从百度上爬几十家公司的新闻，八爪鱼哪个产品有这种功能？
- 能不能采集知乎文章？
- 百度地图的数据能不能采集，地图上的商家数据怎么采集？
- 淘宝采集
- 金融行业数据采集
- 八爪鱼能采集网页上的视频吗？
- 自定义采集模式如何使用？
- Ebay商品图片如何采集？
- 京东商品数据怎么采集？
- 如何采集网页上的链接？
- 京东商品评论怎么采集？
- 京东评论只想采集差评怎么操作？
- 可以抓弹幕吗？
- 如何采集39健康网的数据？
- 装修数据怎么采集？
- 招聘网站的信息如何采集？
- 如何采集赶集网数据？
- 可以采集携程网？
- 如何采集今日头条数据？
- 如何采集列表上的信息，同时又采集列表里面的详情？
- 百度贴吧怎么采集？
- 不会配置任务怎么办？
- 如何购买云节点
- 数据定制服务
- 这款软件怎么收费的？
- 购买有优惠券吗？
- 团队版涨价了吗
- 八爪鱼软件怎么购买？
- 我以前是旗舰+版，对应的新版本套餐我用哪个版本呢?
- 我以前是旗舰版，对应的新版本套餐我用哪个版本呢?
- 我现在是旗舰版，新套餐方案对我有什么影响呢，会自动转成新套餐吗？
- 免费版、个人版、团队版、企业版有什么区别
- 私有化部署的价格是多少？
- 可以定制采集的规则吗？
- 支持linux部署么
- 购买后，如何开发票？
- 团队版的账号，可以其他人同时登录吗
- 发票的开票内容是什么？
- 商务合作
- 八爪鱼售前咨询电话
- 如何购买叠加包
- 我们账号到期了
- 麻烦帮忙催一下，尽早开发票？
- 教育公益版怎样申请？
- 要填哪些发票信息
- 需要低版本的八爪鱼软件
- 什么是本地加速模式？
- 个人版能做什么
- 我们单位要报销
- 任务数是什么？
- 境外舆情监控服务如何购买？
- 购买八爪鱼软件可以提供合同吗？
- 八爪鱼的价格
- 个人版可以开票么？
- IP如何购买?
- 软件咨询
- 国外的网站可以用云采集吗？
- 这个能开纸质的增值税专用发票吗？
- 八爪鱼在外地有分公司吗？
- 购买后账号马上就可以使用吗？
- 验证码自动识别怎么收费？
- 升级到个人版有什么优惠？
- 个人版比专业版的优势在哪？
- 免费版是永久的吗？
- 个人版比专业版贵了
- 我现在是旗舰+版，新套餐方案对我有什么影响呢，会自动转成新套餐吗？
- 新版本内测
- 八爪鱼线下培训课程可以学到什么？
- 八爪鱼可以内网部署吗？
- 团队版本在哪里购买？
- 规则定制怎么收费？
- 是否支持私有化部署？
- 八爪鱼有哪些版本？版本有什么区别？
- 购买后如何开发票，发票内容是什么？
- 购买后可以提供合同吗？
- 八爪鱼如何退款？
- 八爪鱼售前咨询电话是多少？
- 购买后账号可以马上升级吗？
- 团队版/企业版可以试用吗？试用规则是怎么样的？如何申请试用？
- 是否提供规则定制 / 数据定制服务？
- 八爪鱼验证码套餐是什么，怎么收费？
- 团队版的账号，可以其他人同时登录吗?
- 个人版有试用吗？
- 八爪鱼有教育公益计划吗？
- 新企业版同时可登录限制是3，如果用户需要多人登录同时使用的，不想导出任务到子账号使用的，怎么处理？
- 旧版本转换新版本套餐，是否支持延长期限服务？
- 1个账号能多人同时登录吗？
- 忘记密码了怎么办？如何重置密码
- 账号被锁定了怎么办？
- 个人版可以申请试用团队版吗
- 注册收不到短信验证码？
- 有没有客服的企业微信？
- 账号密码不正确？
- 账号忘记密码了，发送验证码的邮箱收不到验证码？
- 收不到注册账号激活码？
- 公益教育注册总是提交不了？
- 账号如何注销？
- 八爪鱼账号在哪里注册？
- 企业版试用
- 新版同时可登录限制是3，如果用户需要多人登录同时使用的，不想导出任务到子账号使用的，怎么处理？
- 旧版本转换新版本套餐，是否支持延长期限服务？
- 忘记密码了怎么办？如何重置密码
- 个人版可以申请试用团队版吗
- 注册收不到短信验证码？
- 有没有客服的企业微信？
- 账号密码不正确？
- 你好，账号忘记密码了，发送验证码的邮箱收不到验证码？
- 收不到注册账号激活码？
- 八爪鱼账号在哪里注册？
- 团队版试用
- 免费版可以一直使用吗？
- 免费版能采集哪些数据？
- 个人版可以用云采集吗？
- 个人版能采集哪些数据？
- 团队版可以采集哪些数据？
- 企业版能采集哪些数据？
- 企业版可以提供哪些服务？
- 企业版的优势是什么？
- 购买后发现不满足需求怎么办？
- 申请试用后，怎么知道试用申请是否通过？
- 试用期间采集有什么限制吗？
- 如何查看教育公益版认证成功了？
- 怎么查看代理ip的消耗记录?
- 怎么查看验证码的消耗记录?
- 怎么查看模板余额消耗记录?