浅析计算型存储技术的发展趋势.docx

《浅析计算型存储技术的发展趋势.docx》由会员分享，可在线阅读，更多相关《浅析计算型存储技术的发展趋势.docx（9页珍藏版）》请在第一文库网上搜索。

1、于无声处听惊雷浅析计算型存储技术的发展趋势【摘要】计算型存储是一种具备计算型存储功能的架构，用于卸载主机处理或减少数据移动，是目前的热点之一。本文分析了计算型存储技术的一些发展动向，供大家参考。1. 什么是COmPUtationa1Storage（计算型存储）？2023年8月Gartner新鲜出炉了年度存储和数据保护炒作周期（HyPerCyc1eForStorageandDataProtectionTechno1ogies,2023）报告，Computationa1Storage（计算型存储）位列炒作热点之一。按照SNIA的定义，计算型存储是一种具备计算型存储功能（Computationa1S

2、torageFunction）的架构，用于卸载主机处理或减少数据移动。这种架构将计算资源（在传统的计算和内存架构之外）直接与存储或在主机和存储之间进行整合，使应用性能和/或基础设施效率得到改善。计算型存储出现的目标在于启用并行计算，从而减轻对现有计算、内存、存储和I/O的约束。按照具体的技术形态，Computationa1Storage(计算型存储)又被分为三个大的类别：CSD(Computationa1StorageDevice)、CSP(Computationa1StorageProcessor)和CSA(Computationa1Storage2. Array)o3. off1oad（卸

3、载）是计算型存储设计思想的精髓谈到计算型存储就不能不谈Orac1eExadata数据库一体机。2008年研发的Exadata是针对Orac1e数据库进行优化的计算平台，用于解决传统数据库受I/O瓶颈引发的性能问题。在解决思路上，Exadata采用了颠覆性的设计思想-off1oad（卸载）”,即将数据库系统中的数据处理行为从计算节点（数据库服务器）卸载到存储节点（存储服务器）进行并行处理，并且仅有计算后的最终结果会被返还给计算节点。这种设计方式大大规避了计算、存储和网络等硬件设备的I/O瓶颈对数据库性能造成的局限。数年前笔者曾做过一次ExadataX5和国产数据库一体机之间的性能对比测试。O1T

4、P场景下二者之间的差异主要体现为硬件配置差异带来的差距，换句话Exadata在O1TP场景下的加速效应可以忽略；而在O1AP场景下，Exadata“卸载”的设计带来2-3倍以上的巨大性能增益，诸如全库扫描体现出的性能已不再受到IB交换机网络带宽的限制。Exadata“卸载”的设计思想可能是计算型存储早期的雏形，但是由于只能在Orac1e数据库场景下使用，注定这项技术在市场上的推广受到极大的局限。4. DPU的出现让普适型计算型存储成为可能近几年DPU(Dataprocessingunit)概念异常火爆，但是参与的企业多半隶属半导体行业，如：Inte1、Marve1、SanISUng等，所出产品

5、也多属于CSD或CSP的范畴。初创公司Fungib1e在自研DPU芯片同时，开发了一套分离式存储平台(Disaggregatedstoragep1atform),其设计核心理念和Exadata如出一撤，就是将数据应用的数据处理环节“卸载”到存储端进行执行，并通过专用的DPU芯片实现加速。因此，Fungib1e存储操作系统的软件模块除了包括常见的存储(存储协议、EC、消重、压缩、复制等)、网络、安全等功能以外，还增加了数据分析的类别：数据库、大数据、Server1ess等富数据应用的协同模块被包括其中。应用运行在计算型存储平台，据称，“在DPU上使用单线程，将X86服务器上的MySQ1查询与基于

6、DPU的存储集群进行比较，查询时间提高了75倍；使用正则表达式匹配，拿软件实现与DPU加速操作对比，吞吐量提高了27倍。”5. HPC应用正成为计算型存储技术被最早的实践场景除了作为供应侧的厂商在进行计算型存储的创新努力以外，作为需求侧的最终用户也在进行这样的尝试。美国阿拉莫斯国家实验室(1AN1)是世界上最大的科学和技术研究机构之一，它在国家安全、太空探索、可再生能源、医药、纳米技术和超级计算机等多个学科领域开展科学研究。阿拉莫斯的工程人员预计他们的Trinity超算系统在2023年将达到IOPBDRAM.IOOPBF1ash存储和0.5EB磁盘存储的规模。在不断发展中的HPC环境下，数据存

7、储环境面临巨大的挑战，譬如：(1) .面对CPU频率增益已不复存在、计算内核从1000增加到100万、基准F1OPS在增加，效率却在降低等现实挑战，在PB乃至EB数据量级的数据存储环境下，如何利用横向扩展架构实现更高性能？(2) .在系统规模不变大的情况下，如何让存储系统跑的更快？(3) .如何更快的解决文件固定尺寸的问题？为了克服这些挑战，阿拉莫斯的工程师与各类科技厂商合作探索计算型存储的创新实践。对存储在文件系统上的数据处理进行“卸载”是设计的核心，为此将每个处理环节涉及数据处理部分卸载到DPU,以近盘/近存储计算来大幅加速数据处理效率。阿拉莫斯在实践中通过EideticomFPGA加速器

8、和NvidiaB1ueFie1d-2SmartNIC构建具备数据处理加速的闪存磁盘框(ABOF),将数据访问速度提高了10-30倍。此外，阿拉莫斯还尝试和SK海力士构建了计算型存储SSD,通过索引关键值存储数据，将仿真输出分析速度提高了IOOO倍。5.除了提升数据处理性能，计算型存储对现代数据中心的绿色节能有现实意义2015年三星半导体实验室的一项研究1表明，分布式计算环境下的数据移动将会导致更高的能量消耗。即在一个上千节点的计算集群中，数据移动能耗几乎是计算能耗的两倍以上，而在单个计算节点上，这样的比例则不到5%o数据中心的高能效设计已是趋势，如：“东数西算”工程对数据中心PUE（电能利用效

9、率）要求为1.2o然而“东数西算”当前更多是资源配置层面的构想，让我们大胆想象一下，如果未来计算型存储技术可以实现跨域的配置，那么真正意义上的“东数西算”就会变成现实，而数据中心资源的高能效将会走向一个新的高度。今天计算型存储尚处在发展早期，当前行业实践也主要发生在HPC和公有云的应用场景，但是在数据库、私有云、大数据、AI等富数据应用场景下，计算型存储同样会存在很好的应用前景。然而任何一项创新技术都需要时间在市场去验证其实用价值，Gartner将计算型存储位列在HyperCyc1e的炒作曲线上升位置，但是市场渗透所需时间还是定义为5-10年之久。不过正如历史上的电子支付、电子商务、智能手机等颠覆性技术的出现，如果一项创新技术显露出十倍乃至百倍的效率替代时，那么阳光最终会出现在并不遥远的未来。来源:1EnergyEfficientSca1e-InC1usterswithIn-StorageProcessingforBig-DataAna1ytics(https：/Www.researchgate,net/pub1ication/290995277_Energy_Efficient_Sca1e-In_C1usters_with_In-Storage_Processing_for_Big-Data_Ana1ytics)-全文完-