云环境下的存储技术路线选型方案.docx

《云环境下的存储技术路线选型方案.docx》由会员分享，可在线阅读，更多相关《云环境下的存储技术路线选型方案.docx（18页珍藏版）》请在第一文库网上搜索。

1、云环境下的存储技术路线选型方案云环境下，企业不是为了适应云而上云，而是需要根据既有和未来的业务系统的数据、访问、负载、变化等相关需求去选择正确合适的技术元素，然后如何将这些元素融入自己现有的云环境当中。云环境下，企业应该如何根据不同的业务负载、数据特征选择最适合的存储技术路线？社区专家主张议题主编苏海涛某集团公司首席数据官：本议题下由江西农信运维技术经理邓毓、江苏农信存储工程师康建国、北部湾银行技术经理哲哲蛙、嘉兴银行信息安全负责人高鹤针对关键点发表主张，几位专家的主张经过利安人寿资深工程师陈萍春、某证券云原生技术专家汪照辉、某金融机构架构师李威等几位专家的复议，最终形成了一定的共识呈现于此，

2、希望对同行有所帮助。在当前的云环境下，满足业务混合负载需求的多存储服务共存是当下主题，在存储架构选择方面，分布式和集中式两种架构各有优缺点，因为分布式架构更复杂，所以一般能用集中式解决的就无需考虑分布式，千万不要为了分布式而分布式。随着金融科技技术的飞速发展，当前银行信息系统业务负载的数据特征并非完全单一类型，而是呈现出混合的数据特征，需要应对多种IO类型的存储需求，包括高并发IO（交易）、高吞吐IO（分析）、普通文件存取IO（文件交互）、海量文件存取IO（对象交互）等。例如银行的信贷系统，通过手机银行等互联网渠道办理信贷业务时，有高并发、低时延的IO需求；通过信贷管理端在线统计分析信贷相关数

3、据时，有高吞吐、高性能的IO需求；信贷系统和其他业务系统交互数据文件或者信贷系统各应用节点共享文件数据时，又有便捷可靠的文件存取IO需求；通过柜面等线下渠道办理信贷业务产生海量的影像文件时，还有海量小文件归档和调阅的IO需求。在对存储的需求上，越来越多的银行信息系统呈现出像信贷系统这样混合的负载需求，非某一类某一种存储（集中式或分布式块、文件或对象）能够完全满足。在当前的云环境下，满足业务混合负载需求的多存储服务共存是当下主题，在存储架构选择方面，分布式和集中式两种架构各有优缺点，因为分布式架构更复杂，所以一般能用集中式解决的就无需考虑分布式，千万不要为了分布式而分布式。下面以某银行真实业务负

4、载为例，分类剖析其存储技术路线和方案的选择，旨在帮助读者结合企业实际业务负载需求进行合理的决策。一、渠道/前台类业务银行各类业务渠道非常多，是直面客户办理业务的信息系统，主要线下渠道包括柜面、ATM、POS.智能柜台等，主要线上渠道包括手机银行、网银、移动营销（平板）、微信营销、互联网金融等。1）这两类渠道系统要么是间接为客户办理业务的柜员、PoS收银员，要么是客户自己。所以在办理业务过程中，客户等待办理业务的时间或者自己的体验感非常重要，这就要求渠道系统自身的耗时要绝对小（业务办理的体验感是全链路的，渠道系统是业务链路最前面一个环节），在存储端需求表现为小IO但延时要求低，量级最好在毫秒以内

5、。随着越来越多的渠道系统也开始上云，采取分布式存储却不是一个最佳的选择，因为采用通用X86带SSD盘，用软件搭建的分布式存储，即使其IO响应时间达到极致，无论如何也比不过现如今的全闪存储阵列，这是因为高端全闪采用了大量硬件加速10,专用硬件的效率是软件所不能比拟的，因此建议云上这类对IO延迟严苛渠道系统数据库底层存储能用全闪最好。2）针对高并发的渠道系统，如手机银行、互联网金融等，其他线下渠道受限于柜员、终端或客户端总数量，其TPS或者QPS会存在上限，并发需求的极限也是容易预测的，采用集中式全闪完全足够。而高并发渠道的业务TPS兼具爆发性和难以预测性，集中式架构越来越捉襟见肘，尤其是这类渠道

6、系统如果采用单体集中式的数据库很容易就达到瓶颈，采用分布式数据库不可避免成为趋势。对存储需求而言，更多要求的是K）PS能力，所以目前而言分布式数据库+分布式存储是最佳组合。3）即使是渠道类系统，也有业务管理的功能需求和文件共享需求，主要是报表查询、统计和分析，管理和应用文件系统共享等。在存储需求角度，这类业务管理IO是轻分析类型，数据特征为低IO吞吐，云环境下对接集中式存储或者采用底层为分布式存储的块存储服务均可，文件共享可以采用集中式NAS或者云上NAS服务。二、平台/中台类业务银行的业务平台类有两种，一种是共享服务平台类，对全行信息系统提供基础性服务，包括通讯、影像、公共业务和安全等内容，

7、如ESB企业总线、影像平台、业务中台、安全中台等。另一种是业务产品平台，如信贷大平台、中间业务平台、支付平台、银行卡系统、电子银行平台、互联网能力中心等。1）针对通讯及安全校验类服务平台，其数据库往往仅需提供配置的存取功能，通常是异步松耦合的架构，整体IOPS较小，对IO响应时间也不敏感，应用节点大量横向扩展满足TPS要求即可。因此存储端需求采用集中式存储或者云上普通块存储服务即可，有ESB文件FTP共享的需求的，可以采用云下或者云上NAS服务。2）针对影像类服务平台，主要体现在影像数据库和影像文件本身的存储需求。影像数据库会存储影像与业务的关联关系，以及与影像文件的映射关系。业务大量接入影像

8、平台后，海量的影像文件快速增长，对数据库的压力也陡然剧增，其数据访问特征是高IoPS小吞吐低延迟，站在存储的角度，分布式数据库十分布式存储较集中式数据库+集中式存储的架构更有远景优势。针对影像文件本身的存储选择，毋庸置疑选择云上或云下对象存储服务即可，传统NAS或者云上NAS服务在海量数据面前有着先天劣势。3）针对业务产品平台，如信贷系统一样，其数据特征类型比较多，属于混合负载类型，因此需要结合各类需求，针对性地选择存储方案，如针对数据库既有高并发低延时需求，又有高吞吐高性能需求时，一方面数据库可以进行数据拆分，实时表和历史表要分库，实时库用集中式数据库+全闪组合，历史库用于统计查询和分析，则

9、可考虑分布式数据库+存储的组合。另一方面新建系统的数据库可以直接采用当前比较火热的HTAP分布式数据库，同时高质量承担O1TP和O1AP的能力，但技术选型的要求和后续的运维成本会比较高昂。三、管理/决策类业务银行的管理决策类系统大多为业务数据存储、加工和分析型系统或平台，包括大数据平台（数据仓库）、数据集市、反洗钱、数据报送、财务管理、绩效考核、风险合规等等。1）数据存储加工类平台数据特征为高吞吐高IOPS,目前技术也非常成熟，有采用云下HadOOp、ES、Kafka三大集群，也有采用云上专有大数据云服务，存储需求目前也是行业公认的分布式存储体系架构。2）数据分析类系统对存储需求主要体现在数据

10、库层面，单体实例的数据库目前来看，越来越捉襟见肘，一是单体实例计算能力达不到要求，二是单体实例下整体存储能力的瓶颈点比较多，包括操作系统磁盘和队列瓶颈，网络层面的带宽瓶颈，存储层面的K）PS瓶颈等，虽然有各类解决方案，但终归是按下葫芦起了瓢，尤其是面对实时性数据分析的需求时更加如此，因此分布式分析型数据库+分布式存储的方案才是最优解。四、后台类业务银行的后台系统一般称作核心系统，它是银行最基本的存贷款业务为主的系统，是其他业务子系统的基础。核心系统是交易处理系统，主要完成处理客户账务及内部账务的分户核算处理；同时核心系统也是会计处理系统，处理银行科目的清算核算。核心系统是银行最重要的系统，作为

11、业务全链路过程中的最后一个环节，其数据特征是高IOPS低延迟需求。每日的日终批量又涉及复杂的批量逻辑和数据加工，数据特征是高吞吐高IOPSo目前有部分银行进行了新核心系统建设，将核心系统改造为分布式核心，以满足这些严苛的要求。也有大部分银行目前是保持现状，以大型机或高端小型机+高端存储阵列（全闪或者混闪）为主，一方面也是这些高端硬件的组合的确能够HO1D住这些需求，多年来运行也非常稳定，尤其是大型机和AS400的银行用户，内在外在因素驱动进行新核心系统建设的动力不是非常充足。另一方面这套传统架构在两地三中心的体系下非常完善，而分布式数据库+存储的组合，其两地三中心体系在银行案例中尚未成熟和经历

12、历练。康建国江苏农信存储工程师：随着电子商务、云原生、微服务、分布式应用、DevOps等现代应用架构的流行,用户将会开始把越来越多的传统应用，迁移到云环境。云环境下，企业如何根据不同的业务场景、数据特征选择最适合的存储技术路线？本文通过介绍云环境下不同的存储服务类型以及对应的存储技术，辨析在云环境下各个存储技术的适用场景，希望能给IT同行们提供一点启发和参考。一、存储服务的类型存储服务的类型根据数据类型的不同，一般分为块存储、文件存储和对象存储三类。块存储基于传统的磁盘阵列实现，将存储区域划分成固定大小的块，以卷的方式挂载到主机操作系统后，操作系统可将其格式化成文件系统，或以裸数据的方式作为数

13、据库的存储。块存储方式不存在数据打包和解包过程，因此应用系统跟存储系统耦合程度紧密，数据访问延迟低、性能高。文件存储指的是存储介质上存储的是目录-子目录-文件这种形式的数据结构。这种数据结构是我们自然人所能容易识别的数据，绝大部分由作为自然人的程序员所编写的各种软件程序也使用这种方式来访问文件。因此文件存储的特点是一方面可读性高，另一方面访问数据需要先遍历多层文件目录。对象存储采用基于键值访问机制的扁平化存储架构设计，它没有多层树级文件目录。在对象存储系统中，对象是数据存储的基本单元，所有对象都有一个对象标识，通过对象标识OSD命令访问该对象，使用简单，小IO性能好。二、云环境下的存储技术随着

14、电子商务、云原生、微服务、分布式应用、DeVOPS等现代应用架构的流行，用户开始将越来越多的传统应用进行改造和重构，迁移到云环境。那么在云环境下有哪些存储技术可供选择适用呢？下面针对云环境提供的块存储、文件存储和对象存储三类存储服务，简单讲讲对应的存储技术。1 .块存储云环境的块存储技术主要包括使用集中式块存储和分布式块存储两种技术路线。1）集中式块存储作为目前最流行的IAAS框架,OPenStaCk架构中有一个独立的组件叫CinderoCinder是OPenStaCk中提供存储服务的AP1框架，用来为后端不同的存储结构提供统一的接口。不同的块设备服务厂商在Cinder中实现其驱动支持。后端的

15、存储可以是DAS、NAS.SAN,对象存储或者分布式文件系统。由于在云计算领域OPenStaCk受欢迎度非常高，因此众多存储厂商如NetAPP、IBM、De1IEMC华为和众多开源块存储系统均提供了对Cinder的支持，这也为在云平台基础架构层使用集中式SAN存储提供了技术基础。当用户规划在云平台下使用集中式块存储时，需要首先考虑两个方面。第一，自己使用的云平台是不是基于OPenStaCk开发的，如果不是，那可能没有SAN的接口。国内的主流云平台产品大都是基于OPenStaCk开发的，但也存在少量的自研云平台。第二，基于OpenStack的云平台通过使用Cinder来对接FC-SAN集中式存储

16、，Cinder只提供框架，需要通过调用FC-SAN设备厂商提供的Driver来使用和管理。这方面需要云平台厂商配合。目前国内大部分基于OPer1StaCk开发的云平台产品中已经集成主流存储厂家的FC驱动，可以让Cinder与存储底层对接，得到更高和更稳定的性能表现。2）分布式块存储分布式块存储是分布式存储架构下的一个存储接口。目前主流分布式存储技术主要分HCI超融合基础架构和SDS软件定义分布式存储。主流SDS分布式存储又分为CePh系和非CePh系。在大规模云环境下，SDS软件定义分布式存储适配度更高。2 .文件存储文件存储技术按照底层硬件架构可以分为集中式NAS存储和分布式文件系统。集中式NAS存储生态完善，在各大企业数据中心文件共享服务中占据很大比例。集中式NAS存储设备由机头和扩展柜组成，集成度高，运维相对简单。分布式文件系统与集中式NAS相比，区别在于提供了并行化和横向扩展的能力。