云平台存储平台实施过程中的自动化配置.docx

《云平台存储平台实施过程中的自动化配置.docx》由会员分享，可在线阅读，更多相关《云平台存储平台实施过程中的自动化配置.docx（11页珍藏版）》请在第一文库网上搜索。

1、云平台存储平台实施过程中的自动化配置云平台由于涉及的IT设备复杂多样，数量繁多，传统项目中的部署方式不能适用，自动化配置部署的能力，成为衡量云平台扩展能力的一个重要方面。本议题专注于云平台存储方面的实施，给出自动化配置的设计思路，方便同行在实施过程中加以参考。云平台存储平台实施过程中如何利用自动化配置？社区专家主张张鹏某金融科技公司高级技术主管：本议题由北部湾银行技术经理哲哲蛙、某金融单位数据中心系统运营李彪朋针对议题下的关键点进行了观点的说明，这些观点在经过我本人、嘉兴银行信息安全负责人高鹤、某商业银行存储架构师刘春几位专家的复议之后，最终形成了一定的共识供大家参考。哲哲蛙北部湾银行技术经理

2、：云平台存储利用自动化部署可以极大地缩短交付时间，减少对人员的技能要求,提高项目实施效率。只要在前期做好服务器、磁盘、网络的规划，云平台存储中的分布式存储也可以实现自动化配置。在云原生平台上也可以纳入分布式存储进行很多便捷的自动化管理。一、概述目前集中式存储和分布式存储均已得到了广泛应用，存储池作为云平台的IAAS主要构成部分，在建立企业级云平台存储池时，通常需要规划采用多种不同特性的存储设备组建存储池，选择最优性价比的方案以支撑不同场景的需求，并利用云平台存储管理特性进行便捷的自动化部署。作为云平台存储中的一部分，集中式存储在进行初始化时，硬件层面往往不需要再进行更多的调整，软件层面通常是采

3、用设备原厂商的初始化向导流程，集中式存储相对产品较为成熟，通常也具有成熟的自动化向导配置界面，包括集中式存储的硬盘域划分、存储池划分、RA1D模式选择、用户权限配置等，本文不再做过多的描述。而云平台存储中的另一类分布式存储，随着时间的推移，也逐渐能实现存储集群的自动化界面配置，只要在前期做好服务器、磁盘、网络的规划，进行一套分布式集群的部署同样也能实现自动化配置，本文主要针对分布式存储自动化配置进行阐述。二、云平台存储利用自动化部署相对优势云平台存储的分布式存储在实施中，采用自动化界面或者脚本进行配置，可大大节省部署过程所需要的时间，提高云平台存储的易用性、可操作性和人性化，实现真正的自动化部

4、署。用户可以通过界面配置服务器的初始化配置信息进行自动化安装部署，缩短交付时间和步骤，降低对于交付人员的技能要求，提高项目实施效率。通过自动化配置脚本，云平台存储能够自动化检查分布式存储节点的配置信息，以流程化、标准化完成服务器初始化内容，能够保证集群内一致的基础环境，减少不同环境的差异，将环境的配置沉淀到模板中；自动化配置流程通常将存储软件安装包和脚本同步到需要部署的物理节点，避免重复性的操作，实现从单机软件部署到自动化集群统一部署，避免人工手动方式一个个创建和相互关系配置导致的效率低下、失误率高问题。三、云平台存储自动化部署的前提条件要进行云平台存储的自动化部署，首先要满足云平台存储集群部

5、署条件，硬件设备数量因使用在生产系统，为了保证数据安全性建议采用3副本，则设备数量通常采用3台以上，此外设备需要满足云平台存储产品硬件兼容性要求。确认存储节点上的网卡规格和网络配置满足最低网络，明确集群系统不同网络类型的组网方案，通常涉及四个网络平面：Admin集群管理网络、CIUSter集群内部网络、GateWay/Pub1ic集群业务网络、硬件管理网IPM1在存储节点符合安装要求，并完成操作系统安装，同时根据组网规划设置完成静态IP设置保证所有节点IP可达即可进行自动初始化配置和图形化引导安装部署。自动化部署能完成的内容包括硬件环境的检查、安装基础软件、集群创建、账户添加、存储池初始化等流

6、程。云平台存储软件自动化部署先进行操作系统环境进行初始化设置和安装环境检查，初始化设置包含主机名配置、安全选项配置（关闭操作系统的Se1inux服务和防火墙）、服务器时间同步配置（默认配置本地服务器为Chrony服务器）、SSH免密配置、关闭ABRT服务，当上述自动初始化步骤失败，由于操作系统环境无法满足脚本要求时也可以选择手动方式进行初始化设置。安装环境检查页面，系统会检查所有待添加节点上的IP冲突、主机名冲突、内存检查、Swap分区检查、主机域名解析、SE1inux.SSH免密、时间同步、网络可用、端口占用及安装包的检查项。当需要部署的节点检查未通过，该节点不会被加入存储集群。自动化部署能

7、够实现通过GU1图形化的方式进行，以第一设备为管理节点也称为“安装启动节点”，通过图形化界面安装引导，分成四步操作即可完成存储软件部署，包含安装许可、产品激活、集群设置、账户信息；安装完成后即可登录集群、完成剩余节点的添加。添加节点和角色的同时能够自动设置节点类型和节点角色（包含存储节点、网关节点、仲裁节点）节点角色包含了：管理角色、监控角色、对象查询角色、块存储网关角色、对象存储网关角色、文件存储网关角色，另外系统会根据产品许可显示对应的节点角色；待系统自动完成软件安装部署后就可以进行存储池的初始化和资源分配。四、云原生平台上存储采用响应驱动实现存储管理功能目前金融行业使用的云平台较多集中在

8、OPenStaCk技术体系，将分布式存储纳入OPenStaCk可以进行很多便捷的自动化管理。分布式存储支持多种方式对接OpenStack存储需求，如Cinder-iSCSI驱动模式和RBD兼容模式。Cinder-iSCSI驱动（iSCSI是块存储的主要协议，在一些基于OPenStaCk的商业版本可能不支持RBD的情况下，可以采用CinderiSCS1驱动方式对接，通过Cinde1iSCS1驱动OPenStaCk存储平台能够自动实现卷创建、删除、挂载、卸载、扩容、快照、快照创建卷、卷创建卷、镜像创建卷、卷迁移、Qos,自动精简卷、Mu1tiattach.实例热迁移的功能；OpenStack在较早

9、版本支持了CephRBD协议的存储管理，支持在NOVa、Cinder.GIanCe服务中使用RBD后端进行存储资源管理。RBD协议是OPenStaCk非常成熟的使用方式，RBD兼容模式分别为G1ancesNova和Cinder组件提供便捷外接存储服务，能够实现CinderiSCSI模式下所有对存储操作的功能，提供了云平台管理和使用云平台存储的所有功能的自动化；如果企业已经采用KUberneteS容器云，在KUberneteS云原生平台上，云存储提供的CS1DriVer通常有两种类型，分别适用于块存储的CSIiSCSIDriver,以及适用于文件存储的CS1NFSdriveroCSbiSCSI驱

10、动能够支持KUberneteS平台对块存储实现PVC创建、删除、KubernetesVIP.多路径、CRD、扩容、快照、回滚、克隆、云集成、A1UA的管理功能；CSbNFS驱动支持支持KUberneteS平台对文件存储实现PVC创建、删除，Secret,扩容、文件配额、文件快照、文件DNS的管理功能。李彪朋某金融单位数据中心系统运营：从硬件的磁盘介质层，到操作系统的文件系统层，如何实现云平台存储资源的动态容量管理、自动化调度等，是云平台存储平台自动化设计的关键点和挑战之一。云平台存储的自动化设计上，主要考虑面向业务的存储服务交付。如虚拟机相关文件系统、NFS相关文件系统、数据库表空间相关文件系

11、统，以及这类存储服务的自动化扩容场景。一、前言伴随着大数据、云计算浪潮的汹涌发展，越来越多金融行业选择业务整体上云。如何在保障云平台存储安全性、可靠性的同时降低运维成本，是所有企业必须思考的命题。本文将从云平台存储自动化的角度，介绍某金融企业在上云过程中，如何结合自动化配置，强化上云的规模效应和成本递减效应，安全、稳定的降低运维成本。二、云平台存储的优势目前业界在云平台存储的选择上，常见的方案有集中式SAN/NAS存储与分布式存储。生产环境在选择存储方案时，需要兼顾性能和成本，一般需结合业务场景，将各种存储方案加以组合应用。如业务系统的虚拟机云硬盘、NFS一般采用NAS存储，数据库使用SAN存

12、储，文件备份使用分布式存储等。通过对云平台存储平台的自动化设计，有机地将业务场景与存储方案相结合，实现云平台存储的安全、可靠落地。既能满足业务的发展需求，又能降低运维本O三、关键点和挑战云平台存储平台的建设，需要针对不同业务场景，挑选合适的存储方案。因此云平台存储平台整体设计上，既要最大程度降低数据和基础架构风险，又要具备灵活的部署选项和高速扩展性。在自动化的设计方面，同样要考虑兼容业界不同的软硬件接口。从硬件的磁盘介质层，到操作系统的文件系统层，如何实现云平台存储资源的动态容量管理、自动化调度等，是云平台存储平台自动化设计的关键点和挑战之一。四、自动化设计在云平台存储的自动化设计上，主要考虑

13、面向业务的存储服务交付。如虚拟机相关文件系统、NFS相关文件系统、数据库表空间相关文件系统，以及这类存储服务的自动化扩容场景。下面结合目前企业常用的四种自动化场景进下介绍：场景一：虚拟机存储自动化配置业务上云之后，普遍需要解决虚拟机的批量部署问题。在虚拟机文件系统的自动化设计上，基于OPenStaCk的Cinder模块接口、She11脚本以及批量自动化工具(Ansib1e)的结合，实现规模化、自动化的虚拟机文件系统的初始化。图1：虚拟机存储自动化配置1）调用OpenStackNova模块接口，创建计算资源；2）调用OpenStackCinder模块接口，创建存储资源；3）调用批量自动化工具，在

14、虚拟机上通过She11脚本将硬盘初始化，创建卷组、逻辑卷到可用的文件系统。该方案能够快速实现计算及存储资源的高效交付。场景二：NFS存储自动化配置NFS文件系统用在多个用户之间共享公共文件系统，在业务规模较大时，同一个NFS需要挂载的节点多，既需要考虑访问安全性，又需要考虑管理的便捷性。基于OpenStack的ManiIa模块接口、She11脚本以及批量自动化工具图2：NFS存储自动化配置1）调用OpenStackMani1a接口，创建NFS目录创建；2）调用OpenStackMani1a接口，设置NFS白名单；3）调用OpenStackNeutron接口，实现NFS网络访问开通；4）调用批量

15、自动化工具，在虚拟机上通过She11脚本现NFS目录挂载。该方案同时支持新增NFS白名单及挂载功能，满足业务的纵向扩展。场景三：数据库表空间存储自动化配置数据库高IO的特性，在选择存储时，不同于计算几点采用的NAS存储方案，一般选择IO性能更高的SAN.SSD或本地磁盘的存储方案。基于KUberneteS的数据库容器化设计与SAN.SSD或本地磁盘封装接口结合，具备极好的鲁棒性，可以满足数据库的高可用及性能要求。简要设计逻辑如下:1）调用KUberneteS接口,初始化数据库容器;2）调用封装的磁盘接口，执行SAN、SSD或本地磁盘的存储分配；3）调用批量自动化工具，通过She11脚本实现容器

16、的文件目录挂载及数据库初始化；4）调用批量自动化工具，搭建数据库复制关系。该方案在在面对数以千计的数据库需求时，既能实现表空间的自动纵向扩容，还支持实例规格的自动纵向扩容。场景四：云平台存储容量自动化配置在企业日益讲究成本及精细化运维管理的背景下，云平台存储的容量动态管理能力，是云平台存储必须具备的功能之一。通过云监控与云平台存储容量的整合，实现基于容量数据的存储全自动化扩容。以上提到的虚拟机存储、NFS存储、数据库表空间存储，均支持自动化扩容。简要设计逻辑如下：1）云监控实时监控文件系统使用情况；2）基于容量水位，自动推送云平台存储扩容策略；3）基于自动化流程，实现存储服务的自动化扩容。云平台存储的容量管理，按照最小化存储资源交付，一方面实现了存储成本的节约，避免浪费；另一方面与监控及容量管理的结合，能够