分布式块存储架构选型方案.docx

《分布式块存储架构选型方案.docx》由会员分享，可在线阅读，更多相关《分布式块存储架构选型方案.docx（8页珍藏版）》请在第一文库网上搜索。

1、分布式块存储架构选型方案来自twt社区同行交流,欢迎更多同行参与交流针对分布式块存储，如何选择合适的厂家？目前市场上各类厂家开源、非开源分布式存储杂七杂八，市场很混乱。基于虚拟化或者私有云环境，怎么在混乱的各类分布式存储里选择性价比高的、适合自己块存储？是选择什么架构的好，选择什么样的固态与机械盘比例（数量比Or容量比）的适合这类场景呢？问题来自社区会员SodaS233某医院系统运维工程师，探讨来自twt社区众多同行的分享，欢迎大家参与交流，各抒己见。*“争议”栏目内容来自同行分享的一手体验和观察，仅代表个人观点顾黄亮苏宁消费金融有限公司技术总监：块存储相对而言比较简单，选择的方式也比较简单，

2、不看场景，只看性能。性能指标总体就三个，IOPS,吞吐量和访问时延。TOPS,这个需要看比较细节的场景，分为随机读、随机写和顺序读。吞吐量，这边重点关注高吞吐量的场景，比如大数据的海量数据计算和传输。访问时延，重点关注数据库使用场景。JanXCnec系统架构师：说实话，这个问题，不太好回答，对于具体的业务场景有点不太清楚。泛泛来说，作如下建议：1,生产环境除非技术实力很强，否则建议选择商业分布式存储设备，开源的可以用于开发、测试环境，逐渐使用成熟之后，再生产环境推广。2,CePh比较不错，相比其他开源产品，社区更加活跃，但是真的为生产虚拟机提供块存储服务，还是应该经过详尽的测试，特别注意与设备

3、兼容性这块，兼容性的考虑，是开源产品使用比较容器忽略的一个地方。3,根据系统的熟悉选择固态和机械盘的比例，数据库的话，推荐固态盘，性能较高，对于日志、归档类的应用，建议纯机械盘，对于应用的部署，建议混合部署，固态盘做缓存盘，提高数据性能，但是要注意两点，一点是存储的高可用，另一点就是监控，特别是健康情况、IOPS等。ACDanteTYYJ其它：主要看业务应用场景进行区分。1-虚拟化或者私有云:可采用集中式的块存储，或者同时分布式存储提供iscs形式的块存储，目前的分布式存储和相关SSD缓存加速，已经能够满足虚拟化场景以及私有云场景的性能要求（超融合就是一个很好的例子）。目前可以通过对ISCS1

4、协议的优化，以及SSD缓存加速，达到稳定与性能兼顾。2-医疗行业-PACS影像存储：大部分的性能瓶颈或者存储容量和性能要求都比较高的应用场景为PACS影像存储，PACS影像数据一般占据整个医院数据量的至少80%左右；且数据增量很大。且在调取影像数据时，整体医生的感受对于速率的提升感知非常明显，可以说是一个非常痛点的应用场景。目前市场上有对象存储、分布式存储、NFS、CIFS、FTP等各种协议通用，具体还是需要采取适合自身的产品，从性能、成本和使用需求上去综合考虑。国内目前也有一些不错的厂商，可以先进行前期测试和POC,再做选择。李静XSKY产品解决方案总监：首先和行业有关系，优选同行业有案例有

5、类似场景的厂商，其次有几个考量评估点:1、最重要的是安全性，各种故障情况下的业务安全性是否保障（硬盘，节点，机柜，数据中心RTO,RPo的考虑）；2、性能是否满足业务需求以及未来增量；接入业务测试或者模拟业务的压力机长时间的测试，模拟CaChe被打爆的情况，短时间的性能测试都在缓存中，无法评估正式性能；3、全协议支持，考虑新业务的迭代增长，产品的开发周期；4、横向扩展能力，业务无感知的情况下增加节点；5、数据流动：跨数据中心，跨平台的数据流动；6、数据生命周期；7、硬件迭代对业务的影像，是否涉及迁移数据；8、API完善透明开放；9、运维便捷性：自动化运维等等。cpc1989某保险公司存储工程师

6、：大概选型思路，我觉得可参考如下：首先应该明确选型目标，是为了某些特定的业务应用场景，还是新技术探索，革新技术架构，当然如果是技术探索，那么一般是先从测试环境开始，目的就是为了研究分布式块存储的适用场景;然后是架构选择，目前分布式块存储主要是融合架构和分离架构两种，各有利弊，应结合自身实际情况选择切入点；再者是存储厂家的选择，主要看是否有行业内案例可借鉴或有较好合作基础的厂商或公认的技术领导者地位的，尽可能的多交流，关键是也要摸清楚自身的需求，并剔除并不适配的厂家产品；最后是将自身的需求转化为重点选型指标，再圈定几家产品以同样的标准做POC测试，最终敲定产品选型。张鹏某金融科技公司高级技术主管

7、：固态和机械盘的比例，主要看技术原理，分布式块存储中固态通常做缓存。传统存储中混合磁盘的分级存储技术，在分布式块存储中大家关注度小。建议如果技术原理允许的情况下，能都配固态，就都用固态。毕竟现在价格也能接受了。0cean_it华为技术咨询顾问：分布式块存储应该关注以下几点：一、适用场景分布式块存储相对于存储阵列的优势在于扩展性，所以适用于大规模的虚拟机、容器场景。如果是小规模，其可靠性、成本、性能相对于存储阵列都有劣势。一般来讲，大概IOPB为界。有人说存储阵列贵，但从Gartner等分析师的洞察来看，双方的价格比较还真不好说。二、关键指标扩展性：平滑扩展、简单扩容能力；性能：块存储承载的都是

8、虚拟机、数据库，所以稳定低时延、IoPS、带宽是关键要素，尤其是稳定低时延，包括故障场景下的稳定低时延；随着分布式块存储的推广，全SSD的革命也正在发生。各大全球厂商都在提升全SSD下的性能。可靠性：实际场景下稳定高性能的EC,比多副本机制更好用；性能无损的快照、双活、复制等容灾也是日益增长的需求；硬件亚健康的检测是我们常忽略的重要性，因为我们习惯了存储阵列的成熟可靠性。运维：自动化部署、安装、升级、管理、故障定位也是分布式存储值得关注的点O安全：分布式存储多数采用以太网，那么网络安全、数据安全相关的技术点比存储阵列更需要关注。Wsky-Misky金融银行存储架构师:明确产品采购需求:业务驱动

9、信息，选型的基础是明晰分布式存储的业务场景需求，结构化和非结构场景对产品要求存在显著差异，业务场景需求关系到数据量级、数据结构、IO模型特征、峰值访问等等因素，这些都是直接影响分布式存储性能的重要因子，只有这些都想清楚了，采购的需求才会明确、采购方向才会匹配。了解分布式架构：除了上边专家提到的分布式存储性能指标（PoC基本可测出来），考虑到现阶段存储的综合性能基本过剩，个人建议更要去关注存储的使用成本，尤其是分布式存储的几大核心模块：首先最重要的是元数据管理技术，分布式互联的核心就是metadata,元数据管理设计直接决定了这款存储性能的表现及维护的成本。市面上的分布式存储大致基于CePh、G

10、1USter以及其他架构，各架构有什么优势及缺点，厂家基于这些架构自研优化了哪些方面。产品靠不靠谱、好不好用，元数据管理设计占了很大比重。其次就是动态扩容，分布式存储宣传的动态扩容是容量与性能的线性扩容，扩容节点后测试性能，看看是否能达到线性。最后就是故障容忍，简单粗暴，直接拔盘关节点，SSD、HDD、节点断电，观察集群稳定性与自愈。关注业务测试P0C：POC不要局限于常规的4K8K256KFio测试，这些测试数据只是反映存储实际性能的一个表征。这些数据好看与否，和客户业务场景下实际表现没有决定性的强关联。Fio测试非常完美，采购后实际使用效果就好，NO,不一定。所以，POC一定要带有业务测试

11、数据的测试，业务数据往往呈现一定的数据特征和IO特征，模拟真实业务场景看看存储在这些特征下的综合表现。另外由于分布式元数据的特性，务必要关注高存储使用率下存储的IO性能，比如存储使用达到75%85%,测试存储IO性能的衰减。其他客制化需求：a,SSD与HDD的比例，一般在15%30%容量比之间（个人经验至少15%）,各家产品不一样，对于SATASSD.NVMESSD各家产品支持力度不一样，与厂家多交流沟通。b,对接云或者容器，属于一个增值功能，以实际测试的结果为准，厂家宣传和实际使用效果差距有些大。潘延晟系统工程师：的确现在分布式存储的厂家技术杂七杂八。有些混乱。不过基本上还是可以划分为开源的

12、和商用的两种基础。开源的则属于百花齐放的状态。选择上我个人是倾向于，技术成熟度、可靠性、性能、价格的级别往下优选。毕竟存储是整个业务的核心。一旦数据丢失可不是闹着玩的。所以一定选择大厂产品，产品成熟，研发技术实力雄厚，实际运行中有较多的成功案例，其次再考虑价格，而固态和机械一般都是用少量固态作为系统，缓存，运算盘，海量的机械盘用作存储。比例要看实际应用，不同的场景需求也不同。一般厂家的售前会给出一个推荐的配置。如果资金充足。业务重要。也不排除考虑全闪存。huijx某银行系统运维工程师:社区开源式的分布式存储需要您公司自己有相当的研发和运维能力，所以人力资源成本也要考虑进去。厂商的分布式存储可靠性会高一些，而且有厂商做背书，虽然采购成本会高一些，但是人力成本相对低一些。固态盘和机械盘的比例，需要结合应用类型和PoC情况来看。penguinhe成方金融项目经理：建议从需求出发，充分计算承载应用IO,根据IO情况，根据相关产品业界成功案例、价格、站点内高可用等外特性综合评估。-全文完-