qq云存储 探秘腾讯云存储背后的“黑科技”

栏目:娱乐 2021-11-30 13:56:46
分享到:

过去,数据存储是单一的,结构化数据被整齐地编码到数据库中,文件直接保存在本地桌面上供访问。随着数据时代的到来,大数据、AI、物联网等新技术已经融入行业,数据呈现指数级增长,作为企业的数字资产进行存储和管理,最终投入应用。在数据规模效应的触发下,加上存储和应用的成本、性能、可靠性和高可扩展性,云服务逐渐成为企业新一代IT基础设施的标准之一。

作为国内领先的云服务提供商之一,腾讯云一直在利用云硬盘CBS产品,即模仿类似传统块设备的行为,为CVM用户提供持久块存储服务。

腾讯云CBS产品架构图

腾讯云CBS产品由CBS接入、MDS控制集群和CBS存储集群组成。CBS access收到CVM云主机集群的数据读写请求后,根据MDS提供的集群路由信息,将读写请求转发到对应的CBS存储节点。

目前其单盘容量最高可支持32TB,单个云主机最高可挂载640TB,可为用户提供最大随机IOPS性能为110W、最大带宽容量为每秒4Gbps的单盘。采用三拷贝分布式机制,可提供高达99.999999%的数据可靠性。

云服务的快速发展对云存储性能提出了更高的要求

腾讯云CBS凭借其高性能、高可靠性的优势,在高负载OLTP金融交易系统、高吞吐量电子商务系统、面向人工智能的数据分析系统、高并发CDN网络等方面得到了广泛的部署和应用。

然而,基于分布式结构的存储集群的整体性能会受到网络访问和传输延迟等因素的影响,这与本地存储是不同的。这也是用户对于在核心数据库、内容分发网络等需要性能和敏感度的场景中采用CBS产品存在疑虑的原因之一。

随着云服务在企业业务系统中的占比不断提升,越来越复杂的核心业务数据读写需求驱动腾讯云以极快的存储体验深度优化CBS产品,提升性能,从而打消用户对CBS产品的顾虑。

英特尔帮助腾讯云CBS产品打造快速云存储体验

根据CBS产品的架构、存储引擎和硬件基础设施,腾讯云开始支持远程直接数据访问协议,并与英特尔合作,基于存储引擎和英特尔SPDK开发套件优化SSD的性能。但事实上,固态硬盘本身的高延迟是CBS产品提升整体性能的障碍。

为此,腾讯云和英特尔更进一步,将高耐用性、低延迟的英特尔傲腾持久内存作为新一代超快CBS产品的存储核心,重构数据丢弃方案,以满足性能密集型场景的更高延迟需求。

在腾讯云现有超快CBS产品的设计中,以数据drop为例,在这个过程中,首先通过HASH找到云主机数据或将其分发到对应的块节点,然后将数据缓存到不同的页面。然后,系统会执行两个写操作,一个是将业务数据写入SSD对应的数据区,另一个是将元数据以日志的形式写入SSD。

在整个过程中,SSD一次写入的延迟通常是几十微秒,两次写入的延迟会是几十甚至几百微秒。虽然数字看起来很小,但为了适应端到端网络延迟1毫秒的5G时代,整体性能还是需要被打破。此外,还存在由于反复擦除导致SSD使用寿命缩短,以及日志恢复过程中出现相应毛刺等问题。

基于英特尔傲腾技术的英特尔傲腾持久内存可以帮助CBS产品有效应对上述问题。英特尔傲腾科技通过全新的无晶体管存储架构,将存储网格堆叠成三维矩阵,从而提高存储密度,增强读写性能,提供持久存储容量。持久内存可以通过字节来寻址,字节可以像内存一样精确地控制读写的位置和大小。

与传统DRAM内存相比,英特尔傲腾持久内存有两大优势,包括存储密度更高、单位存储成本更低以及良好的经济效益。其次,App Direct模式下的英特尔傲腾持久内存可以有效充当CBS产品的数据持久存储载体。

优化后,腾讯云极致CBS产品的数据投放过程

在优化后的极速CBS产品中,数据通过HASH分发到对应的块节点并缓存在页面中,然后数据立即永久存储在英特尔傲腾持久内存中,页面/块的元数据也直接更新到对应的数据区。

除了优化数据丢弃流程,企业还可以通过定制的策略和算法来确定英特尔傲腾持久内存中的数据分配。例如,需要频繁读写的“热数据”保存在持久内存中,而不需要长时间访问的“冷数据”则定期转移到后台的SSD中,以降低TCO。

此外,英特尔持久内存开发套件PMDK为CBS产品提供了英特尔傲腾持久内存的编程模型和环境。以libpmem库为例,作为PMDK的底层库,它支持通过内存映射的方式访问持久内存,可以将持久内存中的文件映射到应用的虚拟内存空进行操作。通过避免内核参与和上下文切换带来的开销,持久内存的性能可以直接帮助应用程序。

此外,libpmem还封装了NTW指令,可以通过写合并绕过处理器缓存,直接将数据从内存缓冲区写入内存控制器的WPQ,从而提高性能。

创新硬件的效果增益和针对极快CBS的优化设计

数据读写延迟缩短。英特尔傲腾持久内存读写延迟可控制在1微秒以内;另一方面,借助PMDK提供的函数库和工具,英特尔傲腾持久内存可以更加细致、准确地控制整个写入过程,有效提升系统的写入性能。

提高了系统的使用寿命。英特尔傲腾持久内存的逐字节寻址特性,有效避免了重复擦除导致设备使用寿命缩短的问题。另一方面,英特尔傲腾科技独特的存储结构也使其拥有更长的使用寿命。

空之间的使用率提高。英特尔AoTeng技术允许独立访问和更新存储单元,无需垃圾收集,从而避免了NAND磁盘面临的毛刺回收问题,提高了存储空之间的使用效率。

为了验证新硬件和优化设计对CBS产品的效果,腾讯云和英特尔进行了验证测试。测试结果表明,基于英特尔Opteron持久内存的CBS产品方案整体写入延迟从120微秒降低到60微秒,整体读取延迟从130微秒降低到40微秒,IOPS可高达200W以上,有效提升了性能。

云存储的未来展望

随着云存储技术的不断完善,云服务在企业级业务系统中发挥着越来越重要的作用,用户势必对各种云服务的性能提出越来越高的要求。这些技术与应用场景的互动,将有力推动相关产品和技术的不断演进和优化。

作为云服务行业的重要参与者和领导者,腾讯云和英特尔基于英特尔傲腾持久内存所取得的CBS产品优化和收益就是这一趋势的明显体现。

面向未来,国内云计算市场发展迅速。更多的IT巨头基于自身业务优势获得了市场准入凭证,竞争逐渐上升。因此,拥抱更先进的产品和技术不断创新,优化自身云服务产品,为用户数据打造更好的云存储体验,将有助于腾讯云巩固市场地位,让CBS等云存储产品成为未来企业级业务数据存储的可靠支撑。

https://www . Intel . cn/content/www . cn/zh/cloud-computing/腾讯-cloud-cloud-disk-CBS-cloud-storage . html

英特尔公司、英特尔、英特尔标志和其他英特尔标志是英特尔公司或其分支机构的商标。本文中提到的其他名称和品牌属于其各自所有者的财产。