JetIO: Hadoop共享存储、FPGA压缩技术让TCO综合成本下降
来源: 深圳捷誊技术有限公司 编辑: 陆丹 时间:2019-04-17 13:48:52
记者从2019中国国际大数据产业博览会了解,深圳捷誊技术有限公司(以下简称:JetIO)将在本届数博会展示大数据采集、存储、分析、挖掘、加速系统全栈式一体化解决方案。
据了解,JetIO专注于大数据采集、存储、分析、挖掘、加速系统解决方案,并掌握核心自主主控技术,拥有全栈式软硬件解决方案,在大数据Hadoop/Spark/Hive/Kafka等海量存储、分析以及FPGA异构计算加速等有非常多成功解决方案和案例。其方案主要应用于公安大数据、互联网大数据、交通大数据、金融大数据等,而这些方案也是 JetIO在2019中国国际大数据产业博览会重点展出内容。
目前,市场上多数大数据处理系统都是基于Hadoop生态系统上。该系统建立在map-reduce计算和HDFS分布式文件系统的概念之上。虽然设计很好地实现了其功能目的,但随着部署量扩展到数千个商用服务器和数PB级数据量,Hadoop集群的购置和运营成本对于许多预算紧张的客户来说变得过高。
Hadoop集群为其每个计算节点使用直接连接存储(DAS),迫使计算资源(CPU和RAM)与存储资源(DISKS)一起扩展,这常常导致花在计算资源上的预算浪费,同时这也会造成效率低下。
捷誊大数据存储方案采用基于ARM的微服务器,用于隔离和最小化故障区域;可配置纠删码,以达到最低编码开销,以及具有先进的数据放置算法,以实现数据恢复时间和集群可靠性的最佳平衡,硬盘介质采用企业级硬盘 (250万小时MTTF)以达到高可靠,和氦气技术以实现最高存储密度;在每个计算节点上安装基于A2200 FPGA的加速卡,以实现算法加速。在A2200上运行的DataEngineTM加速器具有加速数据压缩和纠删码功能,与Hadoop传统的3副本存储相比,可实现高达5倍的数据缩减存储空间;JetLake存储设备独立部署和扩展,不仅具有企业存储阵列的性能和可靠性,而且还具有对象存储的成本优势。
一个经济的解决方案是使用共享存储阵列来分离计算和存储,这通常允许计算机集群缩小到原始大小的1/3到1/10。可惜的是,市场上的企业级磁盘阵列很昂贵,这也是Hadoop最初避免他们的原因。
而JetIO的Hadoop亮点在于,解决方案基于共享存储的理念,采用ARM 微服务器架构及FPGA异构计算加速技术,并在介质,硬件和软件的各个方面进行创新,以同时解决可靠性和TCO挑战,典型案例TCO降低总成本达50%以上。
例如在公安大数据领域中,JetIO自主可控的海量存储解决方案,在Hadoop/HBase应用的FPGA压缩技术,TCO综合成本下降30%以上,大大降低公安大数据IT投入成本,提高生产效率。目前公共安全领域很多省份在使用JetIO大数据解决方案,届时JetIO会展出相关成果及案例。