超级计算数据中心供配电系统设计探.docx

《超级计算数据中心供配电系统设计探.docx》由会员分享，可在线阅读，更多相关《超级计算数据中心供配电系统设计探.docx（10页珍藏版）》请在第一文库网上搜索。

1、2023年2月，国家启动建设国家算力枢纽节点，并规划了8个枢纽10个国家数据中心集群，标志着东数西算”工程正式全面启动。“东数西算”工程叠加“双碳”工作的目标，对新基建特别是数据中心的建设发展提出了全新的要求。超级计算数据中心（以下简称超算中心）以其独有的算力优势及高效能源利用的特点，必将迎来爆发式的增长。超算中心供配电系统与超算工艺设备的运行要求关联紧密，其系统架构与传统的数据中心存在较大的差别，本文重点探讨不同等级的超算中心供配电系统架构及其节能策略。一、超算中心的分类超算中心是为集中放置的超级计算机设备提供运行环境的建筑场所，通常由核心机房区（计算节点）、通用机房区（高速网络、存储、管理

2、节点）、辅助区、支持区和运维管理区等功能区域组成，可以是一栋或多栋建筑物，也可以是一栋建筑物的一部分。超级计算数据中心设计要求T/CCUA016-2023根据超算的运算速度、节点冷却方式和安装地点对超算中心进行了分类（详见表1）,以运算速度为依据确定了超算中心的配置要求：S1级和S2级（详见表超算中心分类表表1分类方式类型指标参数I级N1oOPnop/s运算速度级1-99PopsU1级1Pos风冷式计算节点采用空气冷却方式计算节点冷却方式冷板式发热元件与冷却液不直接接触，冷却液无相变液冷式浸没式发热元件全浸泡于散热介质中，冷却液有相变喷淋式发热元件半浸泡于散热介质中，冷却液有相变超级计算机安装

3、地点专用建筑整体建筑物为超算设备服务共用建筑超算设备与其他计算设备共同安置在同一幢建筑物内超算中心运算速度与基础设置配置对应关系表表2类型配置要求部分场景IS1国家级超算、国家级实验室IISkS2人工智能试验区、区域超算I11S2气象、教育、制造、油气等行业超算二、超算中心供配电系统架构超算中心的主要设备通常由计算节点设备、高速网络、存储及对应的空调设备组成。超算中心的供配电系统与传统的数据中心供配电系统存在比较大的差异，需要根据超算中心系统运行特点确定各类设备负荷等级。如S1级超算中心，按常理应该在电力保障上为其提供非常可靠的系统架构，但实际情况是因为计算单元设备安装功率特别大（通常是几十兆

4、瓦），且计算数据可实现实时上传，往往采用单路电源为其供电即可满足使用要求。几乎没有任何一座大型超算中心可以满足GB50174的A级要求，甚至B级要求都无法满足。总体来说，除S1级计算节点及对应的空调设备可由单路电源供电外，超算中心的其他设备均由双重电源供电。以下内容为笔者根据超级计算数据中心设计要求相关内容，并结合设备运行特点及已有设计经验，总结出各级超算中心的常用供配电系统架构。2. 1S1级超算中心供配电系统架构S1级超算中心通常为国家级超算中心或国家级实验室，运算速度达到IOoPf1op/s以上，甚至是达到E级（算力）以上。以运算速度为300PfIoP/s的超算中心为例，计算节点的用电需

5、求为2528MW,高速网络、存储等节点的用电需求为2MW左右o根据整体的用电需求及负荷等级要求，如采用液冷冷却方式，高压侧共需引入三路IOkv市电电源；如采用风冷冷却方式，甚至需要引入四路IokV市电电源。IokV配电系统采用单母线分段形式，如两段母线均仅承担计算节点专用变压器，中间可不设置联络；如两段母线除承担计算节点专用变压器外，还设置其他负荷用变压器，当其中一段母线失电后，母联动作前可切除计算节点专用变压器。当两路市电断电后，计算节点设备可以停止运行，柴油发电机组仅保证高速网络、存储等节点及相对应的空调设备正常运行即可。SI级超算中心三路和四路IOkV市电供配电系统架构图详见图12。计克

6、帆”血阳渊I元更Ka计3元，用蛆动力蚯BAfEfE3IEjfT-HX4xRf1计M元”蛆图2S1级超算中心四路IOkV市电供配电系统架构0.4kV侧配电则需要具体到设备功能需求上，计算节点通常为直流输入设备，采用单路低压电源+交直流转换设备（通常为HVDC）为其供电，不需要配置不间断图1SI级超算中心三路IOkV市电供配电系统架构电源和柴油发电机作为后备电源，相对应的空调系统采用单路电源供电即可。高速网络、存储等节点应由双重电源供电，且应配置不间断电源和柴油发电机作为后备电源。相对应的空调系统也应采用双重电源供电，且单机柜8kW以上的机房宜配置1路不间断电源为空调核心设备供电。SI级超算中心常

7、见的0.4kV市电供配电系统架构图详见图3。UPSHVDC丽HVDChVDC!UPS计算单元网络存储单元一计算单元图3S1级超算中心0.4kV市电供配电系统架构2.2S2级超算中心供配电系统架构S2级超算中心通常为区域、行业等超算中心，运算速度在100Pf1ops以下，甚至在1Pf1op/s以下。计算节点、高速网络、存储等节点的用电需求通常在5MW以下，此情况下超算中心通常与其他建筑功能合用。工程如为高压进线，通常仅需要引入两路IOkV市电电源。IOkV配电系统采用单母线分段形式，中间设置联络，超算中心与其他功能区域分别设置变压器。当两路市电断电后，因计算节点设备容量较小，条件允许的情况下，可

8、配置柴油发电机组，在保证高速网络、存储等节点设备的正常运行的同时，为计算节点提供备用电源。S2级超算中心IOkV市电供配电系统架构详见图4。1陆电越Rr动力变压fi计1眸元网络存缙非超算专用变压鄢单元变压或变压翻非超算网络存件计算单元动力变压器A变压品单元变由，A专用变压，A图4S2级超算中心IokV市电供配电系统架构同理，S2级超算中心O.4kV侧计算节点设备也采用单路低压电源+交直流转换设备（通常为HVDC）为其供电，条件允许的情况下，可配置不间断电源和柴油发电机作为后备电源，相对应的空调系统采用双路电源供电，且可配置1路不间断电源。高速网络、存储等节点应由双重电源供电，且可配置不间断电源

9、和柴油发电机作为后备电源，相对应的空调系统应采用双重电源供电，且应配置1路不间断电源为空调核心设备供电。S2级超算中心0.4kV供配电系统架构图详见图5。图5S2级超算中心O.4kV供配电系统架构如果超算中心的设备总容量仅几百千瓦，计算节点、高速网络、存储等节点设备可以共用变压器或低压进线时，因其用电容量很小，从配电系统统一性和可实施性角度考虑，可考虑均由双重电源供电，且配置不间断电源和柴油发电机作为后备电源，相对应的空调系统也采用双重电源供电。此情况下的超算中心配电系统更接近于GB50174中的A级标准。三、超算中心供配电系统节能策略分析随着我国“双碳”政策的发布与实施，如何降低数据中心能耗

10、指标成为业内讨论的热点问题。供配电系统作为超算中心的核心系统，各种节能策略可以运用到其大部分环节当中。因所涉及的内容过于广泛，笔者结合以往的超算中心设计经验，对市电复用、绿电储能等较为常见的超算中心节能策略做简要分析。3. 1超算中心市电资源复用分析超算中心的特点是电力需求巨大，尤其是在算力评定时，需要将超算设备运行在极限工况下。而在平时运行时，电力消耗仅仅是极限工况的50%60%,平时运行的工况又占整个超算中心运行时间的九成以上，为保证极限工况运行，申请的电力资源在大多数情况下不能得到充分利用，电力资源浪费较大。特别是S1级超算中心，平时运行工况下富余的市电资源特别明显如何让超算中心把富余的

11、市电资源充分利用起来，需要设计人员统筹规划。超算中心如果引入的市电间隔在两组或以上时，根据超算设备的运行特点，与供电部门及早沟通，可以将部分计算节点专用变压器尽可能配置在同一组市电的母线上。由极限运行工况转为平时运行工况后，可以对此组市电母线下的变压器进行报停措施，相关间隔环处用作它用，利用其他市电间隔满足平时运行工况的需求。超算中心如果引入的市电间隔仅为一组，总体思路是根据极限测试工况及日常运行工况的负荷情况，对用电负荷进行分工况分期统筹规划。待计算节点设备平时运行时，将富余的市电资源用到其他的用电设备中，达到充分利用市政电力资源的目的。此时每一市电间隔下的变压器装机容量较常规容量会偏大一些

12、，建议建设方将建设思路与供电部门及早沟通，便于供电方案的批复。以国内某科研单位已投产的超算中心园区项目为例，园区内主要功能为超算中心，另附配套的办公区、运维区、生活区。园区从市电引入两路IOkV市电电源，超算中心功能区与其他功能区分变压器配置，共用IOkV配电母线段。项目竣工验收完成后，在配套区使用前进行超算中心的算力认证，此时电力资源全部应用在超算中心。待算力认证完毕后，配套区投入使用。待后期算力需要调整时，再停用配套功能。通常情况下，算力认证时间以天计算，周期较短，园区使用方完全可以接受，此方案电力资源可以得到充分的利用。3.2 绿电储能技术的应用分析可再生能源发电具有能量来源巨大、绿色环

13、保无污染等特点，是我国实现“双碳”目标的重要手段，也是我国电力行业发展的主要方向。2023年我国可再生能源发电量为2.2万亿kWh,占全社会用电量的29.5%。以光伏发电为代表的可再生能源发电技术，存在对环境条件要求较高、电力转换效率较低、供电存在间歇等特性，而常规数据中心的业务又要求其电力连续可靠，从而导致现阶段两者的匹配度不高。超算中心因其分为明显的极限算力工况和平时算力工况，此运行特点可以保证超算中心充分利用绿电储能技术“当超算中心需要处在极限算力工况时，市电系统与绿电系统可以并行为其提供电力资源。当超算中心处在平时算力工况时，可以优选绿电储能系统为计算节点设备提供电力资源。以南方某行业

14、超算中心为例，其建筑单体为超算中心及配套设施，在屋顶设置太阳能光伏板，在室外设置集装箱式储能仓，储能输出功率为2MW。其供电系统架构详见图6。本系统基本的运行依据为利用夜间电网的低谷电价进行储电，完成整个电池组的充电；在电网峰值电价时，再放出储存的电能，输送至超算中心使用以降低运行成本，合理地提高了能源的整体利用率。项目运行全年光伏发电量在2700MWh左右，储能系统的整体效率接近90%。图6某超算中心供电系统架构图3.3 其他节能策略的应用分析总体来说，节能策略的重点应该是节省那些无谓消耗的能量。超算中心供配电系统的节能首先应该明确哪些方面的能量消耗巨大，再考虑采取具体的节能措施。超算中心计

15、算节点设备容量占比在超算中心所有设备的90%左右，配电系统中与超算中心计算节点设备有着紧密联系的是与其相关的配电变压器，如果选用较为节能的配电变压器，那么在这个环节的节能量是非常可观的。例如非晶合金变压器，具有制备节能、铁芯磁导率高、“三相五柱式”结构、空载损耗低等特点，节能效果是显而易见的。以1台250OkVA干式变压器为例，两种类型变压器损耗容量对比详见表3。某算力为300P的超算中心，为计算单元设备供电的变压器约35000kVA左右，如选用2级能效的变压器，考虑到超算中心的全年运行特点，全年运行后1台变压器仅空载损耗的节能量就达12527kWh以上（如果28台变压器按40%报停，可节省210454kWh）,如选用1级能效的变压器，节电量会更加可观。干式变压器与非晶合金变压器损耗参数对比表3能效等级硅钢变压器非晶合金变压器空载损耗/W负载损耗/W空载损耗/W负载损耗/W1级能效208015445840154452级能效2450154451020154453级能效288017170120017170四、结束语目前，我国超算中心的建设仍处于起步阶段，本文探讨的超算中心供配电系统架构，仅基于