八爪鱼采集器简介
2021-06-28 14:12:16 阅读量: 17140
八爪鱼采集器(软著登字00547832号,2014SR149170)是深圳视界信息技术有限公司研发的一款业界领先的网页采集软件,具有使用简单,功能强大等诸多优点。
八爪鱼软件著作权登记证书
八爪鱼采集器主界面
产品信息
大小:56.2M
版本:8.3.2
位数:32/64
支持系统:Win2000/WinXP/Win2003/Vista/Win7/Win8/Win10/MAC
最近更新时间:2021年6月23日
软件语言:JavaScript ,C#
八爪鱼简介
八爪鱼LOGO
八爪鱼采集器是一款全球全网通用的互联网数据采集器,完全模拟人浏览网页的行为,通过简单的页面点选,生成自动化的采集流程,从而将繁杂的网页数据转化为结构化数据,存储于EXCEL或数据库等多种形式。并提供基于云计算的大数据云采集解决方案,实现精准、高效、大规模的数据采集。其智能模式可实现输入网址全自动化导出数据,是国内首个大数据一键采集平台。
八爪鱼采集器以完全自主研发的分布式云计算平台为核心,结合智能识别算法,可视化的操作界面。可在很短的时间内,从各种不同的网站或者网页获取大量的标准化数据。帮助任何需要从网页获取信息的客户,实现数据自动化标准化采集、导出;摆脱对人工搜索及收集数据的依赖,从而降低获取信息的成本,提高效率。
全球近300W用户选择八爪鱼采集器作为其数据收集工具,国内超过300家知名企业/政府单位的选择,腾讯、平安等知名企业认证数据服务商。已连续六年获得工信部大数据采集软件排行第一,早在2019年就获得工信部的优秀大数据产品认证。整个采集系统,超过5000+台云服务器高并发执行,100万+全球网页来源覆盖,日净新增数据10亿+。全球唯一一个四种语言版本的采集软件,覆盖汉语,英语,日语,西班牙语。
行业及客户认证
产品功能
01. 采集全行业、全场景、全类型数据
采集功能强大且可存储的任务数无上限,实现全行业、全场景、全类型的互联网数据采集。
全行业
电商、新闻、社交媒体、招投标、金融、房产等全行业的互联网数据采集。
很多行业网站已做好直接可用的模板。
全场景
列表页、详情页、搜索页、瀑布流页、登录、多层点击、下拉框、IP切换、
验证码自动识别等场景均能采集。
全类型
支持文字、链接、图片、视频、音频、Html源码、Json格式等多种数据类
型的采集。
02. 高速采集大规模数据
使用超高性能的云服务集群,提供多节点高并发采集能力,能够在时间内高速完成大规模数据的采集。
超高性能
企业版可使用独立的、超高性能的云服务集群,无需排队即可快速开始数据采集。
超快速度
提供30/100云节点高并发采集能力,能够在短时间内高速完成大规模数据
的采集。如果当前云节点不够用,还可灵活扩容。
03. 实时采集新增数据
支持设置灵活的定时采集策略+多节点高并发采集+自动去重/条件触发等功能,实时采集各个数据源的新增数据。
定时采集策略
按照网站更新频率和单次更新数据量,设置合理的定时策略,支持极高频率的定时。同时相同更新频次的网站可归为一组,进行分组定时。
多节点高并发
根据定时策略,将账号内的云节点合理分配给每个数据源,以在短时间内完成每个数据源新增数据的采集。
自动去重/条件触发
新采集到的数据自动与原来采集到的数据对比去重和设置采集触发条件,满足条件的数据才会被采集,实现只采集新增数据。
04. 提供API接口,采集结果秒级同步
提供高负载高吞吐的API接口,可将采集结果秒级同步到企业数据库或内部系统中。除了API外,还提供自动入库功能。
数据导出API
提供高负载吞吐灵活的API接口,支持边采集边导出,将采集结果秒级同步数据到企业的数据库或内部系统中。
自动入库
除了API调用数据外,还提供数据自动入库功能,无需技术人员,简单几步设置即可实现数据自动入库。
任务控制API
提供任务控制API接口,无需启动客户端即可控制任务启停、修改任务参数。
05. 支持SaaS版本与私有化部署版本
提供线上SaaS版本的软件服务,下载客户端即可使用。同时支持将整套采集系统部署到企业本地,快速搭建企业自己的大数据采集系统。
线上SaaS版本
在官网下载客户端,登录账号后即可使用,简单便捷。软件的各项功能与官网实时同步更新,使用过程中需联网运行。
采集任务与数据均存储在云端服务器,可随时随地查询、导出,或运行新的采集任务。
私有化部署版本
企业私有化部署,可部署在隔离内网环境。提供定制化部署方案,满足多种数据安全级别。
支持软件OEM,去除八爪鱼Logo,定制品牌Logo,突出品牌信息。
支持永久授权,区别于线上SaaS版按使用时长付费,私有化部署版一次授权,终身使用。
涵盖线上版本的全部功能。 具备多种管理权限:服务器集群资源管理、用户权限管理、任务调配管理,数据监控管理。 具备各种数据API和SDK接口。
支持二次开发,除成熟的采集功能外,还提供二次开发服务,包括但不限于系统集成、数据清洗、数据全文检索、数据可视化展示和数据分析应用。
产品服务
全流程一对一服务
在合作的全流程中为您提供一对一服务,帮助您快速掌握八爪鱼相关技能,推进您的项目快速上线。
售前测试
售前客户经理一对一与您确认采集需求、协助制作采集任务、测试采集效果、评估项目工作量等。
线上培训
提供一对一的个性化线上培训课程,帮助您和您的团队快速掌握八爪鱼相关技能,推进项目快速上线。
售后支持
客户成功经理为您提供一对一的售后支持,快速解决您的问题、为您优化采集任务、响应您的新需求。