各种存储性能瓶颈场景的分析与优化手段.docx

《各种存储性能瓶颈场景的分析与优化手段.docx》由会员分享，可在线阅读，更多相关《各种存储性能瓶颈场景的分析与优化手段.docx（14页珍藏版）》请在第一文库网上搜索。

1、各种存储性能瓶颈场景的分析与优化手段前言21 .存储系统概述21. 1 SAN 存储21. 2 NAS 存储41.3分布式存储52.存储性能分析72. 1定性分析72. 1. 1应用数据10分析72.1.2性能瓶颈分析92.2定量分析102.2. 1三大性能指标102.2.2性能测试分析103.存储性能优化133. 1优化策略133.2优化方案14前言可靠性、安全性和性能是IT系统最重要的三个评价维度。对于IT系统来说，可靠性和安全性是基础，系统故障或数据泄露等造成的破坏性是显而易见的；而性能则是核心能力，代表着1T系统的服务水平，性能瓶颈会制约企业业务的发展，严重影响用户体验。存储系统是企业

2、IT基础架构重要的组成部分，为企业内部众多的IT系统提供数据存储服务。随着数字化转型的深入，企业的TT系统建设也进一步加快，这一方面带来了数据量的急剧增长，另一方面也提高了数据的访问频率，存储的性能瓶颈的影响也会被进一步放大。本文将结合个人运维实践，剖析存储系统的架构及运行原理，深入分析各种存储性能瓶颈场景，并提出相应的性能优化手段，希望对同行有一定的借鉴和参考价值。1.存储系统概述了解存储系统的架构及其运行原理是性能分析与优化的入门课，才能去全局分析解决存储性能问题。经过多年的技术演进和架构变化，存储系统可大致分为SAN存储、NAS存储以及分布式存储这三类，它们有类似之处，又各有特点。下文将

3、分别详细剖析这三类存储架构及其运行原理。1. 1 SAN存储SAN ( Storage Area Network )本身是一个承担数据存储任务的存储网络，与业务LAN网相互隔离。SAN存储则是一种基于存储块的存储系统，一般使用FC、 ISCSI、NVMe等通信协议。架构层面看，SAN存储一般是存储控制器后端挂载磁盘阵列，数据最终储存在磁盘阵列，而磁盘阵列则包括了多个RAID组。N个磁盘组成一个RAID组，在RAID组之上又会被划分出逻辑存储单元LUN ,也就是共享存储池的逻辑磁盘，这些LUN会通过SAN网络与服务器的HBA卡相连，从而会被服务器的操作系统识别为磁盘，并被分区和格式化后使用，其架

4、构如图1所示。便储系统Storage AreaNetwork交换机I服务器2交换机2图LSAN存储架构图从存储的数据TO流角度来看，以常用的FC-SAN存储为例，服务器操作系统一般会使用文件系统管理文件，文件系统是建立在存储LUN之上,文件的读写会对应着存储的10操作；文件会被分为多个Block , Block大小固定，一般是4KB-16KB ；数据Block块会被发送到服务器的HBA卡，HBA卡再将其转换为FC协议的数据帧(Data frame ),并通过SAN网络传输到存储系统的前端口；存储的前端继续将这些数据帧重新封装成数据Block , Block大小一般为4KB ,并将这些数据Blo

5、ck块传输到存储控制器中；存储控制器中会有存储缓存(Cache ),分为读缓存与写缓存，根据缓存的算法规则，部分缓存命中的10数据流会立刻返回10确认，缓存未命中的10数据流则会需要继续访问磁盘阵列；由于多个磁盘组成了 RAID组，一个数据10流实际上对应着多个磁盘的并发读写。整个过程如图2所示：文件文件系统Block服务器HBA数据帧SAN交换机10确认Block存储HBA存储Cache班盘图2. FC-SAN存储的数据10流图1 . 2 NAS存储NAS ( Network Attached Storage )存储一般也可认为是网络文件存储，用户数据大多数以文件形式存在，通过以太网访问模式

6、走NFS/CIFS协议，提供了广泛兼容性易用性的共享能力。相比于SAN存储，NAS存储不以磁盘形式提供存储服务，不需要分区和格式化，可以直接提供可以直接挂载的网络文件系统。架构层面看，NAS存储一般也是基于磁盘阵列(也有基于集群文件系统或分布式存储的实现方式)实现的，在磁盘阵列之上会有NAS机头来创建和管理文件系统；NAS机头是NAS存储的核心逻辑部件，是典型的C/S架构风格，是对外提供网络文件服务的Server端；其他client端在获得授权后，可通过挂载文件系统、映射网络磁盘或HTTP、FTP等方式就可以共享访问NAS文件系统上的文件，其架构如图3所示：CIFSNFSHTTPFTPAlLA

7、NNAS存储文件系统存储阵列图3. NAS存储架构图从存储的数据10流角度来看，以NFS为例，NAS存储是有着明显异于SAN存储的特点，比如客户端缓存、Server的无状态性等。首先客户端并不是直接访问NAS文件系统，而是客户端缓存，是服务端的文件系统目录树映射到了客户端，实际在文件读写时，需要循环读写固定大小的页面，比如64KB ；而Server端的无状态性体现在不需要维护客户端的协议状态信息，客户端通过RPC调用操作Server端的文件系统数据，但也不能获取Server端的状态，当连接中断时，可以不停地连接重试。如图4所示，基于TCP的应用层协议的NAS存储数据10流会更加灵活，适配性较强

8、，但数据T0路径更长，数据一致性较差，还会存在数据泄露等安全问题，数据传输效率也不高。文件NFS缓存服务器网kRPC调用NAS机头nfs server支件文件系统Blockhas后端存储图4. nfs协议下的NAS存储数据10流图1.3分布式存储分布式存储系统是采用可扩展的集群架构，通过数据副本算法将数据分散存储在多台独立的设备上，分布式集群之间一般通过通用TCP/IP网络连接。相比于其传统的集中式存储阵列，分布式存储系统可以通过多台存储服务器来分担存储负荷，可以满足大规模存储应用的需要。常见的分布式存储系统的形式包括分布式文件系统（如HDFS ）和对象存储（如Ceph ）0从架构层面来看，与

9、集中式存储系统相比，分布式存储系统的部署架构相对简单，一般是通用服务器网络互联的方式，但其逻辑架构更加复杂。分布式存储系统的核心设计思想是去中心化，去中心化的难点主要在于是主控节点的去中心化，有主控节点的架构比如HDFS的架构设计思路是map-reduce，化大为小，分而治之，再合并处理，其架构中需要主控节点来协调，只是主控节点的负载都分发到了数据节点，数据节点上则存放着数据副本，每个数据副本又都分布在三个不同的数据节点上，如图5所示；而无中心化的最大优点是解决了主节点本身的瓶颈，其架构设计思路则是均衡设计，这种架构只有数据节点，但是需要抽象出更多的逻辑功能组件，并均衡分布在不同节点上。以Ce

10、ph块存储的使用方式为例，除了 Mon等集群管理监控组件之外，Ceph中0SD组件用于管理物理磁盘，基于0SD去构建PG ,而PG上存放着数据对象，数据对象则对应着Ceph块设备,Ceph块设备可被格式化分区，从而被应用使用，其架构图如图6所示。chunkchunk2应用chunk4W,L echunk3一chunk4图5.有主控节点的分布式存储架构应用PG . OSD .该盘存储节点图6.无主控节点的Ceph存储架构从存储的10数据流来看，不同于集中式存储较少的数据通道，分布式存储的数据入口可以更多更宽，但集群内部的数据流也更多。还是以Ceph的块存储为例，客户端应用访问的文件系统对应的是C

11、eph块设备,Block数据通过网络访问Ceph集群RBD服务，最终对应于三副本0SD的磁盘读写，流程如图7所示。对于三副本的分布式存储系统，为保障数据的强一致性，一个写10，一般需要主副本和另外两个从副本都写完后,才能最终确认写完成。应用Ceph 块设备网络传输RBD服务radosOSDPrimalOSDReplicaOSDReplica图7. Ceph存储10数据流图2 .存储性能分析存储性能分析是性能优化的基础，虽然存在多种类型多种设计方案的存储系统，但性能分析方法却具有一定的通用性。存储性能分析方法可分为定性与定量两种方式，通常在接触了解、技术选型的初期可能并不具备定量分析的条件，则主

12、要采用定性分析方法来评估存储系统的性能；而一旦进入P0C测试、系统运维等阶段，则应以定量分析为主，通过实际的性能指标数据来判断存储性能瓶颈。2.1 定性分析定性分析是结合个人的运维经验，来分析存储系统的性能是否能满足应用系统的需求，来分析存储系统是否存在性能瓶颈，而这些都取决于对应用数据类型和存储系统的熟悉程度。2.1.1 应用数据10分析了解应用数据10的类型，是存储性能分析的基础。不同应用数据10访问存在着差异，主要体现在10大小、顺序或随机读写、读写比例等方面，如表1所示。应用类型10大小读写比例随机或顺序读写一般文件小大比例读主要随机读写日志文件小大比例写顺序读写视频流大大比例读主要顺

13、序读写应用类型10大小读写比例随机或顺序读写操作系统小大比例读多数是顺序读写数据备份大大比例写顺序读写OLTP数据库小约70%读/30%写主要随机读写OLAP数据库大大比例读主要顺序读写表1.应用程序的数据10类型10大小应用数据类型的差异会带来不同大小的数据文件，也对应着不同的数据10大小。假设存储系统10处理能力是固定的，显然单位时间内大10处理的数据更多，那么合并小10会更有效率；而假设存储系统每次处理数据10大小有上限，那么每次处理大10前都需要拆分，显然10处理效率会下降。比如SAN存储具有很高的10处理能力，但单次处理的10偏小，那么更适宜性能要求高的、小10应用系统，而处理大10

14、应用数据时，效率反而会下降。读写比例读写比例是应用数据的重要特征之一，10读和写操作存在着较大的差异。一般来说写操作对于存储性能的消耗更大，写T0处理能力、延时都较高，对缓存的需求差异也较大。对于分布式存储来说，多副本机制可以优化读操作，但却不利于写操作，写确认路径较长，需要优化数据传输路径、配置更多的写缓存，更适宜于读比例较高的应用系统。顺序或随机读写顺序或随机读写的差异主要表现在磁盘介质特性、预读取机制、缓存命中率等方面。对于机械硬盘来说，顺序读写的10可以减少磁盘寻道时间，随机读写的10则响应时间变长，可以通过提高缓存命中率的方式，将缓存中的数据转化为顺序读写到磁盘；而SSD硬盘则不存在机械寻道，随机读写能力会大大优于机械硬盘。2.1.2 性能瓶颈分析存储性能分析的关键是对性能瓶颈进行分析，包括两方面的内容：一是触发性能瓶颈的因素；二是性能瓶颈的定位，找出存储10拥塞的位置。1）触发性能瓶颈的因素存储热点：存储热点是规划设计中的缺陷，典型场景包括数据10负载过于集中在某个存储节点、端口、磁盘等，存储资源争用、锁竞争，软硬件参数的限制等。性能尖峰：常见于数据10高并发、性能需求短时间集中释放的场景，性能尖峰更会充分暴露出存在的热点问题，从而触发存储性能瓶颈，典型场