商业银行核心存储选型实践经验.docx

《商业银行核心存储选型实践经验.docx》由会员分享，可在线阅读，更多相关《商业银行核心存储选型实践经验.docx（14页珍藏版）》请在第一文库网上搜索。

1、商业银行核心存储选型实践经验1背景与意义22选型思路框架23需求分析23. 1存储需求33. 1. 1存储设备适用应用场景33. 1.2存储服务需求33. 1.3对接存储应用需求33.2产品选型方面33.2. 1交付方式33.3网络方面43.3. 1网络设计43 . 3. 2组网规划54 .3.3支持协议及服务端口53.4 负载均衡63.4 . 1 SAN负载均衡63.5 .2 NAS负载均衡73.5 可靠性方面73.5.1 1数据可靠性方面83.5.2 硬件可靠性方面83.5.3 链路可靠性方面93.5.4 全互联架构93.6 功能方面101.1.1 1跨协议互通101.1.2 异构虚拟化&

2、数据迁移101.1.3 数据精简&数据缩减111.1.4 存储分层123.7兼容性方面124结果分析135结论141背景与意义银行作为金融服务行业，服务必定是其考虑的重要因素，随着互联网技术的发展，银行通过互联网技术向客户提供开户、销户、查询、对账、行内转账、跨行转账、信贷、网上证券、投资理财等传统服务项目。核心系统与外围系统进行数据交换、系统内资金清算、内部账务处理、为分析数据平台准备数据、登记会计账簿、日结月结年结等，需要在批处理流程中制定。从技术层面出发，随着银行业的OLAP业务随着业务量的增长，批处理普遍存在处理时间窗口紧张的问题，选择一套能够提供更快的处理能力，大幅缩短批处理的处理时

3、长，满足海量数据在时间窗口内完成处理响应更快，不卡顿,提升客户满意度的高端全闪存系统成为了现代银行业1T系统架构最迫切的技术需求。2选型思路框架存储设备选型要从以下几个方面出发：（1）需求方面：存储设备使用的场景，对接的应用系统种类对应存储服务的技术需求。（2）产品选型方面：SAN与NAS的交付方式，统一式交付或独立分离式交付。（3）网络方面：网络设计，组网规划。（4）负载均衡：SAN和NAS的负载均衡策略。（5）可靠性方面：数据、链路、硬件等可靠性。（6）功能方面：跨协议访问、异构虚拟化、数据迁移、数据精简、数据缩减技术、分层存储。（7）兼容性方面：兼容主流操作系统和虚拟化平台等。针对上述需

4、求发展和关联技术的变革对银行1T基础设施的设计和构建提出了更高的要求，要构建一个现代化的IT基础设计，选择一个合适的存储系统是最为关键的环节。3需求分析3.1 存储需求3.1.1 存储设备适用应用场景 关系型数据库：主业务数据存储，为事务型数据提供处理，用于应用系统的核心数据存储； 集中管理，并为数据存储设备发送基于块或文件存储的访问请求； 低延时业务系统：访问存储系统端到端的时延不超过1ms； 高可靠和高性能：高速缓存、数据持久化、架构冗余，主机多路径; 容灾：双活，同城，两地三中心； I。密集型：磁盘读写频繁。3.1.2 存储服务需求 提供端到端低时延、大吞吐量的稳定高性能能力。O 前端支

5、持32GBb、64GB FC端口； 10GB、25GB以太网端口；o后端支持NVMe SSD接口；o内部集群交换和后端互联接口支持RDMA的高速协议。 存储设备芯片o高密集成，运算能力高且多核、多处理器；o软硬结合均衡发布后台多控制器，集成扩展能力强，保证横向扩展和高效运行。 数据可靠性保护，支持数据打散，满足磁盘级别冗余、磁盘框级别冗余。 块存储、文件存储一体式交付。3.1.3 对接存储应用需求 支持基于光纤通道（FC）或于以太网的iSCSI等协议； 支持主机多路径技术， 支持NFS、CIFS、FTP等网络文件共享协议。3.2 产品选型方面3.2.1 交付方式统一存储架构非统一存储架构优势一

6、个机头包含SAN和NAS功能，扁平化结构，节约空间，交付简便，集中式运维，一体式升级。SAN存储+ NAS弓|擎，架构清晰，故障易判断易隔离，机房位置分配灵活。劣势后端端口槽位共享，端口数较少分离式父付，连线复杂，运维贞面分离管理，升级分离，NAS容量需二次分配。一体化统一存储架构协议层数据服务层3.3 网络方面3.4 . 1网络设计根据业务类型划分网络平面隔离：O NAS平面：TCP/IP协议，与主机文件业务网络的数据通信，对外提供NFS、CIFS协议接口。O SAN平面：FC协议，连接主机HBA卡的数据通信，用于主机系统发送I/O请求和处理I/O请求。o管理平面：TCP/IP协议，与管理网

7、络间的数据通信，对存储设备进行管理和维护；通过门户或Rest api以及DNS、AD和NTP等网络服务流量。o硬件平面：TCP/IP协议，接入硬件节点HMC接口，提供远程硬件设备管理功能。O数据复制平面：双活站点网络，同城容灾网络，TCP/IP协议或FC协议，提供同城灾备、跨站点双活网络间的数据复制通信，通常对网络时延的要求非常高；异地容灾网络，TCP/IP协议，提供异地容灾网络的数据复制通信。3.3.2 组网规划 NAS组网：建议每个站点至少部署两套网络交换机，单机柜中每个控制器连接交换机至少配置2个上联端口，主机至少配置两块以太网卡分别连接两套网络交换机，采用lOGbE及以上端口。建立专用

8、的网络设备并规划独立的IP地址段供NAS存储服务使用，交换机段启用LACP端口绑定协议。 SAN组网：建议每个站点至少部署两套存储光纤交换机，单机柜中每个控制器连接交换机至少配置1个上联端口，主机至少配置两块HBA卡分别连接两套光纤交换机，采用16GbE及以上SFP光纤模块。如果存储设备有跨站点数据复制传输，则需根据复制链路需求部署对接同城的波分复用设备（DWDM）或异地远距离传输的专用支持FCIP功能的存储光纤交换机。 管理网络：接入专用管理网络，开通到监控、一体化运维等第三方管理平台纳管所对应的网络策略端口。 硬件管理网络：对接控制器工程师维护口，接入HMC管理网。3.3.3 支持协议及服

9、务端口服务协议守护进程端口NASNFSportmap111mountd, nfs2049lockd10000CIFSsmbdTCP: 138. 445nmbdUDP： 137、138服务协议描述传输技术SANFCP光纤通道具有嵌入式SCSI命令的光纤通道传输协议iSCSIInternet小型计算机系统接口将SCSI命令封装在以太网帧内，使用IP以太网络进行传输NoF基于光纤通道的非易失性内存标准(NVMeover Fabric)通过PCI Express (PCIe)总线访问闪存存储的接口协议FCoE以太网光纤通道(市场占有率低)将FC帧封装在以太网数据报中，使用IP以太网络迸行传输3.4负载

10、均衡3.4 . 1 SAN负载均衡相较于中低端存储系统，大多数厂商采用的是ALUA架构，在管理员划分LUN的同时，LUN是存在归属控制器概念的，由于使用业务的不同，例如Oracle的使用，表空间所占用的ASM磁盘组与数据归档所占用的磁盘组在时间段和10压力方面是由明显区别的，所以要实现存储系统中每个控制器的负载均衡需要对LUN的归属进行较为细致的规划，即便这样不同业务系统不同时间段的压力，在实际情况下也难以保证每个控制器负载均衡。华为OceanStor Dorado 18000系列高端全闪存储的软件采用了早先高端存储成本较高的紧耦合控制器架构(Symmetric Active-Active),

11、这样的控制器架构比现阶段市面上高端存储控制器虚拟化分布式架构从硬件方面给用户带来了较强的安全感。通过均衡算法，实现每个控制器接收到的主机读写请求是均衡的；通过全局缓存技术实现LUN无归属，每个控制器收到的读写请求，就在本控制器处理(而不像AULA存储需要转发到LUN归属控制器处理），实现了控制器压力均衡。3.5 .2 NAS负载均衡对于传统的NAS存储系统，大部分主流设备文件服务机头一般采用主备架构，在创建文件系统时，文件系统归属于主活动机头，在发生存储设备硬件故障或网络问题时则切换至备用机头运行，这样的NAS架构，对于多控制器的存储系统来说，硬件资源的利用无疑存在浪费，无法利用多控制器来提高

12、系统本身的性能。华为OceanStor Dorado 18000系列高端全闪存储的NAS采用分布式文件系统架构，文件系统没有归属控制器，通过均衡算法将文件系统的目录和文件均衡写入每个控制器，实现每个控制器接收到的主机读写请求是均衡的，使得1个文件系统也能将整个存储集群的资源充分利用。3.5.1 数据可靠性方面传统RAID的存储系统中RAID组的成员盘是固定的几个物理盘，在进行存储容量使用划分中，由于系统对数据访问频度不同，就会导致RAID组中热点盘的形成，硬盘如果长期工作，它的故障率就会明显升高，长期负载不均会对存储系统的可靠性带来风险。华为OceanStor Dorado 18000系列高端

13、全闪存储将每个SSD盘切分成固定大小的Chunk（简称CK,大小为4MB）,将所有盘上Chunk按RAID冗余组成Chunk组，形成RAID2. 0+,相对于传统RAID机制，RAID2.0+具备如下优势： 业务负载均衡，避免热点。数据打散到资源池内所有硬盘上，没有热点，硬盘负荷平均，避免个别盘因为承担更多的写操作而提前达到寿命的上限。 快速重构，缩小风险窗口。当硬盘故障时，故障盘上的有效数据会被重构到资源池内除故障盘外的所有盘上，实现了多对多的重构，速度快，大幅缩短数据处于非冗余状态的时间。 全盘参与重构。资源池内所有硬盘都会参与重构，每个盘的重构负载很低，重构过程对上层应用无影响。在RAI

14、D2.0+的基础上以CK为单位配置RAID组，采用RAID-TP （EC-3算法，每个校验条带生成3个校验数据，支持同时坏3盘）支持存储系统存储池内最多3块硬盘同时故障数据不丢失。3.5.2 硬件可靠性方面 存储设备部件满足冗余部署：多控制器、冗余电源、冗余风扇、冗余内部连线互联等。 支持缓存多副本技术，设置三副本模式可保证在多控制器情况下同时故障两个控制器写缓存数据不丢失。内置BBU模块（备电），当存储设备掉电后，利用供电模块各控制器内存中的缓存数据刷入到保险箱中保证数据不丢失。 在保证单盘本身的高可靠性同时，利用多盘冗余能力保证单盘故障损坏后的业务可用能力。通过算法及时发现单盘故障或是亚健康，及时隔离，避免长期影响.业务，然后再利用冗余技术恢复故障盘数据，持续对外提供业务能力。3.5.3 链路可靠性方面存储系统对接主机的前端，连接硬盘的后端，以及控制器之间的通讯,均有链路/接口模块冗余保护。华为OceanStor Dorado 18000系列高端全闪存储每张前端共享接口模块与控制框内的每个控制器连接，针对FC协议，通过前端卡与主机建立连接，当控制器故障或是更换时，由于主机或前端卡连接未中断，因此不会导致重新建连。待剩下的控制器接管业务后，前端卡将重试I/O下发到接管控制器，保证业务连续性。高冗余控制器的可靠性