“东数西算”时代,如何让数据更靠近算力?_IT前沿-国内科技领域前沿信息平台(手机,5G,苹果,安卓,华为,人工智能,数码科技,工业互联网)

当前位置:主页 > 科技 > 业界 >

“东数西算”时代,如何让数据更靠近算力?

时间:2022-06-21 | 栏目:业界 | 点击:

  之前,有全球专业分析机构IDC的公开数据显示,自2010年以来全球正式进入ZB时代,预计到2025年全球数据量估计将会增至175ZB。

  那么,全球数据量高速增长的背后,到底是什么在推波助澜呢?这又引发了另一个重要的问题,围绕ZB时代的新数据应用需求,到底什么样的存储可能会更吃香呢?值得一看。

  ZB新数据时代,到底什么存储更吃香

  大数据、AI、云计算、物联网、5G等新兴技术推波助澜,让数据爆炸式增长趋势日益明显,加上数据种类和来源多样化,对于块、文件、对象等多种类型存储需求逐渐增强,新技术带来新应用,新应用带来新数据,对于数据处理微秒级响应、低时延等性能要求越来越高,还加上企业从业务驱动转向数据驱动的新趋势,快速挖掘数据价值也同样备受瞩目。

  由此而言,数字化转型下的多样化数据需求必然对IT基础设施提出了全新的挑战,特别是关系企业用户的数据资产价值的存储系统面临的挑战更大,非结构化数据规模剧增,实时数据流暴增,数据多元难以统一管理,数据调用也面临效率不高。

  步入ZB时代,全行业的数字化转型带来了实时数据总量的激增,当前数据应用正在从“大数据”(Big Data)向需要更快、更及时处理的“快数据”(Fast Data)转变。同时新存储介质(如PM)、新协议(如PMoF、NVMeoF、RoCE)、新处理器(如DPU)、新系统总线(如CXL))等创新技术集中涌现,在需求和技术的双轮驱动下,让基于PM技术的新一轮存储变革带来了巨大的想象空间。

  全球存储观察分析认为,ZB时代这一切的新数据变化,都迫使新的存储技术与满足企业用户新数据应用需求自然而然地走在了一起。比SSD快百倍的PM(Persistent Memory)新介质进入大家的视野,基于PM进行存储系统的技术创新成为新数据时代下存储变革的重大新举措。

1.jpg

  那么新型介质PM到底能为企业用户数字化加速带来哪些具体的创新呢?

  PM即持久内存(Persistent Memory),业界也有称之为SCM存储级内存(storage class memory),兼具DRAM低时延与NAND闪存大容量的特征,具备非易失性、字节寻址、极短的存取时间和固态无移动部件的四大特性。对计算机诞生以来从未改变过的DRAM+SSD+HDD的传统存储架构,带来一次新的存储革命。

  在PM介质的创新上,如英特尔基于3D Xpoint介质推出了Optane傲腾产品,东芝基于BiCS架构推出了XL-Flash持久内存产品,三星也有Z-NAND低延迟的非易失性存储产品,众多存储芯片巨头纷纷聚焦PM介质的发展。其中英特尔的发展更为迅猛,不仅有了成熟的Optane傲腾产品进入行业实际应用中,同时还推出了遵循 SNIA 编程模型的一套持久内存开发套件 PMDK。PMDK可以帮助软件来直接访问持久内存设备而不需要经过文件系统的页高速缓存、系统调用和驱动,减少了许多流程,避免了数据输入/输出(I/O)产生的开销,大大降低数据延迟。它和SPDK一起极大地方便了面向新型介质的软件开发。

  由此而言,数字化转型不仅仅是管理效率的提升,更要求生产系统效率的提升,ICT逐步成为企业的生产系统组成部分,从大数据到快数据,需要大 幅度提升海量数据的存取速度。PM存储实现了存储时延控制在10微秒级,实现存储向内存通道迁移,让数据更接近CPU处理器,在应对新数据存储应用上可谓生逢其时,在ZB新数据时代下,PM存储必然会“吃香的喝辣的”,并带来全新的发展机会。作为定义数据新速度的存储创新公司,UBIX泛联信息通过PM和PM虚拟化技术的应用,实现存储系统的存取速度跃升,改写业界记录,可以更好地满足企业数字化转型的新需求。

  首发两大新品,正在引领下一代存储革命

  从数据存储发展历史来看,磁带存储、磁盘存储、SSD闪存存储到现在的PM存储,每一个重要的存储变革期都与存储介质有着密切的关系。

  基于新一代存储介质的创新,泛联信息在全球率先提出PM虚拟化概念,并通过软件重构充分使能PM,再次助推新型介质的应用创新,正在引领下一代存储的革命。

  UBIX泛联信息总经理经宁分析认为,作为存储行业的新进入者,UBIX泛联信息虽然是一个存储新公司,但是站在全球存储产业变革的前沿,立足PM存储创新求突破,也少了传统企业级存储厂商的历史包袱,轻装上阵,专注满足ZB新数据时代下企业数字化转型的业务应用诉求。泛联信息不仅提出了PM虚拟化概念,而且还把PM虚拟化技术分步地以加速模式、主存储模式以及新硬件形态模式应用到存储产品中,并有机融入其他企业级存储技术,构建更多创新性产品,推动数据存储系统的创新发展。

2.jpg

  为此,6月15日,UBIX泛联信息正式对外发布了两款支持PM特性的创新型存储新品:分布式全闪存存储UbiPower 18000和分布式海量存储UbiScale 12000。

  针对高性能计算的场景而设计,UbiPower 18000分布式全闪存高性能存储,基于分布式架构对外提供文件存储接口,并可以与许多创新计算框架如Spark、Tensorflow等实现无缝融合。

  UbiPower 18000极致的性能表现,主要源自三大技术杀手锏的威力。杀手锏一,采用SSD加PM的高速介质组合,通过双重虚拟化技术形成了PM虚拟化层和SSD虚拟化层,前者实现对集群元数据和小IO的存储加速。

  杀手锏二,系统软件采用全新架构设计,在软件中通过把系统处理资源与存储介质资源的绑定,实现了软件全用户态运行,达到数据零拷贝以及免锁调度,较传统软件模式明显降低了系统读写时延。

  杀手锏三,在节点间的连接网络上采用了RoCE技术,RDMA协议承载于以太网,同样支持IB网络,保证了低时延互联以及高性价比的目标达成。

  在企业用户最为关注的可靠性方面,UbiPower 18000采用了多级可靠性机制,包括了系统级可靠性、设备级可靠性和I/O级可靠性。系统最大可支持16+2的EC校验,同时采用智能化技术手段实现了节点及部件健康状态检测。此外,针对I/O级可靠性方面采用端到端数据校验,实现静默数据校验、修复。整体来看,作为“快数据”时代的更好选择,UbiPower 18000为企业用户带来了极致的可靠性。

  目前,刚刚新发布的UbiPower 18000系统集群最大支持256个节点,性能与容量可线性扩展,表现出了极致的扩展性。在应用中可以根据不同业务类型的需要,采用不同的PM与SSD的容量配比,胜任所有高性能数据分析场景以及机器学习等典型应用场景。

  针对海量的非结构化数据存储而设计,UbiScale 12000采用分布式去中心化全对称架构设计,无集中元数据节点瓶颈,同时容量与性能实现线性扩展。对外提供对象存储和文件存储接口,完全胜任媒资文件存储、视频监控、二级存储等典型业务应用场景。

  在高扩展性方面,UbiScale 12000将所有节点的命名空间整合为统一命名空间,目前最大支持4096个节点,采用高密节点的存储容量高达6.4EB。另外系统还支持把存储空间从私有云弹性扩展到公有云,扩展后的存储空间对应用透明,应用无需感知处理,可以更好应对企业数字化转型中存储对云的需求对接。

  在高可靠性方面,UbiScale 12000为企业用户提供全方位提供极致的企业级可靠性,一是针对集群间可靠,支持集群间同步与异步复制,多站点容灾,保证业务连续性;二是针对集群级可靠,采用全对称架构,无集中元数据中心节点,消除集中元数据节点带来的可靠性瓶颈短板;三是针对对象级可靠,采用无限制的多版本数据安全控制,独特的N+M=64大比例EC校验,以及冗余编码;四是针对块级可靠,拥有静默损坏修复功能,防止因存储介质位衰减带来的数据丢失;五是针对设备级可靠,实现了全方位系统健康监控,提前判断系统风险,加上更好的硬件冗余设计,规避单点故障。

  作为一款海量存储产品,UbiScale 12000满足用户按需配置,在使用传统磁盘作为主存储介质时,同样可通过使用PM对系统性能进行加速,PM可存储元数据并缓冲小的对象和文件,从而提升小对象&小文件的读写性能,无论是IOPS性能还是系统时延指标,加速方案比无加速方案均有数量级的提升。

  目前,首发UbiPower 18000和UbiScale 12000两大新品,这只是围绕PM虚拟化技术实现系列产品创新的研发第一阶段。要引领下一代存储革命,UBIX泛联信息自然会更多的布局,下一步将沿着PM创新产品的整体规划,对既有产品特性持续增强,并发布更多创新产品和方案,赋能ZB新数据时代下的企业数字化转型与升级。

  面向未来,要强“本手”创“妙手”减“俗手”

  不过,在整个企业级存储行业中,竞争一直非常激烈。在面向未来的PM创新之路上,引领并践行从“大”数据到“快”数据的存储行业变革,不仅成为了UBIX泛联信息长期的发展目标,这也是长期的发展战略。重视战略价值的同时,必然离不开匹配有效的战术来落地。全球存储观察分析认为,强“本手”、创“妙手”、减“俗手”成为了UBIX泛联信息发展PM存储的三大重要战术。

  坚持“本手”,就是不搞“人云亦云”的技术复制或拿来主义“微创新”,按照既有PM技术自研发展路径,立足自身发展的根本,保持技术创新的定力,咬定数据存储下一代革新的机遇,矢志不移,创新不止。

  面向未来,坚持技术创新“本手”,强化技术创新作为面向PM自研的根本。面向PM虚拟化的创新,UBIX泛联信息的思路也非常明确。一是,对业务系统中的数据进行分层,将热数据存储到基于内存总线的PM中。二是,各存储节点采用高速低功耗互联架构进行连接,通过虚拟化技术,把各节点分散的PM资源进行池化,形成面向大容量全热数据的PM资源池。三是,以PM资源池为基础,实现存储系统的重构。

  当然,面对高速的DIMM-PM而言,对软件的全面重构,才能发挥PM的最佳能力。特别值得一提的是,在满足企业用户的新数据应用对存储系统的时延苛刻要求上,UBIX泛联信息做了许多优化工作。

  在优化应对软件栈时延的挑战方面,新的软件分层模式,打薄软件栈深度,减少软件消耗。同时采用用户态Load/Store直通模式。深入低时延调度框架的研究,保障PM访问时延防止因为调度而发生大幅度波动,提高时延稳定性。

  在优化应对网络时延的挑战方面,随着RDMA技术的不断成熟,借助RDMA构建低时延网络成为构建高性能存储系统的主要解决方案,同时对通信设备软件栈垂直优化。

  用好“妙手”,就是在两大产品或往后更多存储新品推出进入行业应用实际场景,夯实行业应用落地能力,借助上下游生态布局,构建研发、技术、合作、服务的全生态体系,实现守正开放生态,久久为功,行稳致远。

  当前,自主可控是国家信息化建设的关键目标,泛联信息拥有存储软件全栈的研发能力,独立自主知识产权,软件栈可适配不同硬件平台,可以实现存储产品线全栈的自主研发、生产、升级、维护的全程可控,借助自研的优势积极参与本土企业主导的数字生态建设。用好生态合作“妙手”,创造更多上下游伙伴的合作机会,构建更广泛的合作体系,以此丰富对企业数字化转型与升级的支持能力。

  力戒“俗手”,就是尽量避开与现有企业级数据存储巨头有着重复产品的正面交锋,从PM相关技术发展大趋势出发,差异化布局产品阵营,以更快速、更贴身企业数字化应用的新一代存储产品赢得用户的选择,避免进入企业级存储采购同质化竞争红海,不落入传统企业级存储市场的俗套,坚持产品差异化发展之路。

  企业级数据存储发展到而今,同质化竞争十分普遍,在传统存储阵列价格战硝烟弥漫的当下,力戒产品同质化“俗手”,唯有减少同质化的价格竞争,提升差异化的竞争能力,才能将新一代存储技术推向更高的发展阶段。

  由此可见,当前,全行业数字化转型在不断加速,在PM存储的创新领域,UBIX泛联信息为企业数字化转型与升级的新数据存储需求,带来了更多的创新选择。当然,企业用户的需求始终在变化,并且还会变得越来越快,数据不停,创新不止。数据存储唯有以变应万变,这也意味着在PM存储领域将诞生更多的创新产品与方案。面向未来,值得期待。

您可能感兴趣的文章:

相关文章