咨询QQ:
      杂志订阅

      编辑

      网管

      培训班

      市场部

      发行部

电话服务:
 010-82024981
设为首页 | 收藏本页
智算中心的动力侧UPS及柔性直流供电设计
  • 动力侧UPS的选型一直是行业内的技术难点。数据中心中有大量的空调系统动力设备需要UPS供电,但设计理论远不如IT侧UPS完善和清晰。本文就专门对数据中心动力侧UPS的应用方式、设计规范要求以及常见问题进行总结和分析,也讨论了智算中心动力负载的柔性直流供电问题。
  • 一、引言
      
      根据UPS负载设备的不同,可以将数据中心中UPS划分为IT侧UPS、动力侧UPS、辅助性UPS。目前行业内对IT侧UPS的应用研究比较深入完整,而对非IT用的UPS研究较少。但随着数据中心向大型化、高密度方向发展,动力侧UPS的应用越来越多,而很多业内人员对此还缺少经验。笔者对此进行一些有益的分享,希望对同行业人员有所帮助。
      
      二、典型应用场景及配置方式
      
      1.在风冷直膨式空调系统中配置UPS
      
      采用风冷直膨式空调的一般都是中小型数据中心,大部分为中低功率密度机柜,所以大部分不给空调系统设计动力UPS。但对于少数高功率密度的数据中心,仍有必要给风冷空调系统配备UPS,否则市电停电后空调停机而机柜靠UPS供电继续运行,机房会出现温度上升过快而迅速宕机的情况。也有少数用户虽然功率密度不高但追求极高可靠性而给风冷直膨式空调配置UPS的。UPS容量和数量满足基本需求即可,不做冗余,但应避免单点故障。
      
      2.在冷冻水空调系统中配置UPS
      
      采用冷冻水空调系统的一般是大型、超大型数据中心,冷冻水系统中还会设计蓄冷罐,只需给冷冻水泵、空调自控系统、空调末端室内机配备UPS,再与蓄冷罐配合即可保证持续制冷,系统中冷冻水主机、冷却塔、冷却水泵不需要UPS供电。而根据冷冻水泵、空调自控系统和空调末端室内机距离的不同,动力UPS又有集中式和分散式两种设置方式。UPS容量和数量同样满足基本需求即可,不做冗余,但要设计成1路市电+1路UPS电源通过ATS切换方式给负载供电。
      
      3.在蒸发冷却式冷水机组(或全新风自然冷却)空调系统中配置UPS
      
      数据中心采用蒸发冷却式冷水机组(或全新风自然冷却空调)系统时,因为没有冷冻水系统的蓄冷罐,必须用1路市电+1路UPS电源通过ATS切换方式供电对整个蒸发冷却式机组供电,才能保证从市电停电时到柴油发电机启动恢复供电期间的连续制冷。又因为蒸发冷却式冷水机组至少有三种工作模式,当室外干球温度高于18℃时,蒸发冷却制冷量就会不足,必须采用机械制冷装置进行补冷,所以整个机组配电容量要按照补冷模式下最大功率来计算。以某厂商产品为例:
      
      从表1可知,空调机组前端的市电容量和动力UPS容量都必须按补冷模式下的最大功率来配置,但在补冷模式下蒸发冷却机组的能效比与普通风冷直膨空调已经相差无几,需要的动力UPS容量较大。而反观冷冻水空调系统,因为有蓄冷罐解决不间断供冷,冷冻水主机、冷却塔、冷却水泵并不需要UPS供电,UPS只需对冷冻水泵和自控系统供电即可,所需UPS容量会小很多。所以说蒸发冷却式空调机组大大增加了UPS的使用量,相应配电柜的数量和容量也要增加,明显增大了投资成本,这也成为采用蒸发冷却的制冷数据中心成本居高不下的重要原因之一。当然有部分厂家推出了在间接蒸发冷却机组内部增加UPS和电池的自备电技术,不过大量分散式的中等功率UPS成本并不比集中式大容量UPS成本低,反而因为设备二次集成多出一笔采购成本。而且在间接蒸发冷却机组内部狭小空间中的UPS电池工作环境显然比建筑内UPS配电室恶劣,安全可靠性会更差。
      
      此外增加的UPS和配电柜也会增加一定能耗,将抵消一部分蒸发冷却节约的电能。所以说因为补冷和增加UPS配电的原因,在全国大多数地区蒸发冷却机组的节能效果不会像预期的那么好。
      
      4.在液冷系统中配置UPS
      
      采用液冷系统的智算中心虽然数量较少,但都是超高功率密度机柜,市电停电后需要延时冷却,所以液冷系统供电也需要配置UPS电源。液冷系统一般是通过CDU中换热器将冷冻水/冷却水与冷却液进行热交换,然后冷却液直接(浸没式)或间接(冷板式)与服务器进行热交换的,所以本质上与冷冻水空调系统相似。
      
      但液冷系统对供电连续性要求更高,参考T/CECS1722-2024《数据中心液冷系统技术规程》4.10.1,A级数据中心液冷系统冷源侧设置了蓄冷罐时,冷源侧的冷却工质循环泵、冷源系统的智能化设施、用冷侧的冷却液循环泵、冷却液系统的智能化设施均应采用不间断电源供电;当A级数据中心液冷系统冷源侧未设置蓄冷罐时,冷源侧的冷却工质循环泵、冷源系统的智能化设施宜采用不间断电源供电,用冷侧的冷却液循环泵、冷却液系统的智能化设施应采用不间断电源供电。
      
      所以建议对冷源侧设计成1路市电+1路UPS电源通过ATS切换方式供电;对用冷侧至少应按2路市电通过ATS切换方式后经过UPS再给液冷设备供电的方式设计,另外液冷系统中大多采用变频器驱动液冷循环泵,所以同时要按UPS带变频器负载来考虑。
      
      三、设计规范要求
      
      相关数据中心设计规范中对动力侧UPS的要求主要如下:
      
      1.在GB50174-2017《数据中心设计规范》
      
      8.1.8,数据中心内采用不间断电源系统供电的空调设备和电子信息设备不应由同一组不间断电源系统供电;测试电子信息设备的电源和电子信息设备的正常工作电源应采用不同的不间断电源系统,见表2。
      
      2.在T/CECS487-2017《数据中心制冷与空调设计标准》中
      
      8.1.1电子信息设备设置后备电源系统时,数据中心制冷及空调系统也应设置后备电源系统。
      
      8.1.3A级机房监控系统的控制器电源、控制阀门电源应采用不间断电源供电。
      
      8.1.4连续供冷的数据中心,采用冷冻水系统且设有蓄冷罐时,冷源的控制系统、冷冻水末端循环泵、末端空调风机应采用不间断电源供电。电池后备时间不应低于连续供冷的时间要求。
      
      8.1.5连续供冷的数据中心,采用风冷或水冷直膨性机房空调时,空调室内室外机组均应采用不间断电源供电。
      
      3.在T/CCUA016-2021《超级计算数据中心设计要求》中
      
      7.2.4空气调节系统配电要求:
      
      超算中心的空气调节系统配电设计要求如下,详见表3所示。
      
      b)高温冷源配电应不低于计算节点设备的配电要求,当计算节点设备有失电后延时冷却要求时,空气调节系统的供电应满足需求;
      
      c)核心机房区空气调节系统宜由双重电源供电,可配备1路不间断电源。
      
      四、动力侧UPS的系统设计和工作原理
      
      1.当前数据中心动力负载特点
      
      当前数据中心制冷系统动力负载(精密空调、冷冻水泵、液冷循环泵)已经普遍采用EC风机+直流变频压缩机或者变频器+交流电机/压缩机的方案,不再是早期的星三角或软起动+交流电机设计,对前端电源的启动冲击电流大大减小,所以不管用工频UPS还是高频UPS都是普适的。
      
      在过去很长一段时间,用户和设计单位形成的观念是:对动力类负载最好用工频UPS,可靠性最高。但近年来随着工频UPS产品逐渐淡出市场,而高频UPS和数据中心制冷设备内部都在改进优化,使用高频UPS带载空调系统设备的案例越来越多,可靠性早已经不是问题。特别是近年来数据中心规模越来越大,动力侧UPS容量也节节攀升,从200-400kVA逐渐增加到400-600kVA,笔者亲历项目中已经有800kVA的动力侧UPS案例。大容量下采用高频UPS在尺寸重量、配电开关电缆、电池配置、能效上都更有优势。
      
      2.动力侧UPS配电系统设计
      
      按照设计规范要求并结合负载设备特点,应在末端精密空调和冷冻水泵前端配置ATSE双电源切换开关,前端1路市电和1路UPS电源经过ATSE切换后共给空调末端和冷冻水泵供电。当单路电源停电时,切换到另一路电源继续供电;当数据中心最前端两路市电都停电时,前端动力UPS使用电池维持对空调动力设备供电。双电源切换过程虽然会有短暂停电,但精密空调和水泵重启的时间较短,只要功率密度不是特别高数据中心没有问题。对少数超高密度数据中心可以参考液冷系统供电。
      
      对采用液冷系统的智算中心,至少应在液冷CDU采用前端2路市电经过ATSE切换再通过UPS给液冷CDU供电,不管市电如何切换,都保持对液冷CDU不间断供电,保证冷却液循环不停。
      
      典型的A级数据中心动力侧制冷设备UPS配电系统如图1所示。
      
      对数据中心精密空调和冷冻水泵,建议用一路市电做主用,另一路用动力UPS运行在ECO节能模式下作为备用电源(UPS前端市电停电时可在几毫秒内切换到电池供电),这样既能让UPS节能降耗,也能保证备用供电的高可靠性。数据中心液冷技术目前还在推广中,使用经验不是很丰富,而且设备比较敏感,给液冷CDU供电的UPS以双变换在线模式运行更为保险。待经验成熟后可以再尝试用ECO模式运行。
      
      3.高密度智算中心动力系统的能源路由器柔性直流供电方案
      
      自近一两年生成式AI技术爆发以来,行业内兴起了很多高密度、超高密度的智算中心建设高潮。在此类智算中心中一方面应特别注意UPS配电设计在液冷系统与在传统精密空调的不同,液冷CDU需要UPS电源的完全连续供电;另一方面可以考虑引入中压能源路由器(SST)方案,中压能源路由器可以直接输出柔性高压直流电源给空调动力设备,从动力设备前端的变频器直流母线接入,绕开了变频器整流器,直接给变频器逆变器供电,实现系统的简化和能效的提升。
      
      五、常见问题和注意事项
      
      1.设计初期遗漏非IT用UPS问题
      
      在数据中心规划设计初期,很多用户和设计人员只关注了IT用UPS,而没有考虑专门的非IT用UPS,等项目进入设计后期才发现需要增加,结果导致预算和安装空间紧张,配电方案也需大量修改。这在中型数据中心项目中尤为明显。因为小型数据中心的非IT用UPS需求量很小,对可靠性和运维管理要求也不高,可以与IT设备共用UPS;大型数据中心的非IT用UPS需求量较大,同时对可靠性和运维管理要求较高,很难忽视,而且大型项目的用户和设计单位大多比较专业,所以不容易遗漏。反倒是中型数据中心的非IT用UPS虽然不大但不能忽视,同时项目业主大多是非专业用户,规划设计也经常由行业二三流技术人员操刀,容易出现问题。
      
      笔者曾在几年前参与某个有336个机柜的A级数据中心,设计初期仅按2N架构规划了4台600kVA的IT用UPS主机和电池,分别安装于2个配电室内。设计初期采用风冷直膨空调,没有高密机柜,所以没有考虑专门的非IT用UPS。当时笔者已经发现了此项遗漏,按经验估算需要配1台60-100kVA的非IT用UPS。但项目主设计师是一位有三十多年经验的老设计师,自称能做四五千个柜的数据中心,不愿听取他人意见。结果到设计后期整体方案改变,改用冷冻水空调系统,还增加了少量高密机房,需要容错配置风冷空调不间断制冷,所以又被迫增加1台300kVA的非IT用UPS,用来给冷冻水泵、高密机房空调、自控系统、ECC等供电。增加UPS后需要同步增加蓄电池和配电柜,导致配电室安装空间不足,为此大伤脑筋,经验教训非常惨痛。
      
      2.动力UPS容量配比问题
      
      由于动力类负载与IT类负载的特性不同,启动电流较大,需要UPS放大容量,具体与启动方式有关。通常对单台笼型电机直接启动需考虑4-8.4倍的启动电流(部分新型高能效电机启动电流会更大);星三角启动时启动线电流是直接启动线电流的1/3,加上暂态转换电流峰值,相当于3-4倍额定电流;软启动考虑3倍的启动电流;变频启动考虑1.5倍的启动电流。目前定频风冷直膨空调最大启动电流一般是正常运行电流(仅制冷不开加热加湿)的3~4倍,直流变频风冷直膨空调最大启动电流一般是正常运行电流的1.3~1.6倍。而冷冻水泵和冷却水泵已经普遍采用变频启动(少数采用星三角启动)。对采用变频技术的空调系统设备,谐波较大,功率因数偏低,计算容量时宜留一定余量。
      
      采用蒸发冷却式冷水机组(或全新风自然冷却空调)系统时,要按照补冷模式下最大电功率来计算,机组内部主要是室内外风扇、循环泵、阀门、喷淋泵、补冷装置。其中以室内外风机功率最大,补冷压缩机为其次,两者功率之和占机组总功率的90%以上,而风机和压缩机都普遍采用变频技术,所以按照变频启动再略留余量来计算即可。
      
      但实际项目中一般都是多台空调系统设备共用UPS供电,为了减小启动电流应采用分时启动设计,让各空调设备依次间隔启动,最后空调只需要按最大的一台或一组设备启动,而其它空调均正常运行的工况来计算UPS容量即可。
      
      3.UPS增值功能应用
      
      与IT设备不同,空调动力设备正常情况下是采用市电供电,市电中断时才切换到UPS供电,在绝大多数时间中UPS仅作为备用电源而不实际带载,所以可将UPS设置在ECO节能模式下,等市电停电时再切换到逆变模式供电,从而减小UPS空载损耗。
      
      近两年储能市场非常火爆,但数据中心领域的储能却雷声大雨点小。目前数据中心中最适合做锂电储能的就是在动力侧UPS。在冷冻水空调系统的数据中心中,动力UPS总容量较小,通常只有IT侧UPS总容量的10-15%,大多小于1MW,尤其是动力UPS与IT侧UPS不在同一配电室或不在同一建筑的场景中,安全性和成本都比较可控。动力侧UPS很容易实现2小时左右的储能,可以实现对负荷削峰填谷、降低数据中心需时电费、减小柴油发电机容量的作用。
      
      六、总结
      
      数据中心动力侧UPS主要用来给空调系统设备供电,有规律可循。但因为近几年来数据中心新式制冷方案越来越多,不同种类和厂家的设备特性各异,加上高密度、超高密度机房增加,所以导致动力侧UPS设计越来越复杂。目前设计规范对此部分定性的要求较多,但分类定量的指导不足,落后于实际应用,需要广大从业者靠实践积累来完善。本文也只能根据常见的应用场景和笔者项目经验来论述,难以面面俱到,不足之处还请各位同行指正补充。
      
      参考文献
      
      [1]《工业与民用供配电设计手册》第四版中国航空规划设计研究总院有限公司中国电力出版社2016年12月
      
      [2]《云上加速-EDA仿真加速器云平台白皮书》成都英诺达电子有限公司与伊顿电源有限公司合著2021年7月
      
      [3]《北京市某超算数据中心的空调设计》王玉峰陈露《建筑热能通风空调》2019年5月
      
      [4]《数据中心制冷之惑于解(中)——风冷篇》MatthewGDSPiloTalk
      
      [5]《EFC间接蒸发冷却解决方案》产品彩页维谛技术官网
      
      [6]《FusionCol间接蒸发冷却解决方案——FusionCol8000-E》产品彩页华为数字能源官网
      
      [7]《伊顿精密空调产品技术手册》2022
      
      [8]《数据中心用蒸发冷却(凝)空调机组的设计及试验分析》刘振宇、黄翔、常建佩、常江、于优成、王进军《制冷与空调》2020年1月第1期
      
      [9]《间接蒸发冷却是重塑数据中心制冷的C位吗?理想主义还是现实主义》陈昌炎大话IDC微信公众号2021年3月
      
      [10]《智算中心基础设施演进白皮书》董卫卫、陈淼、王谋锐等维谛技术和深知社2024年9月
      
      作者简介
      
      杨毅哲,伊顿关键电源解决方案架构师,电气工程及其自动化专业毕业,早期从事供配电设计工作,从2014年起从事数据中心咨询设计工作,完成过十几个大中型A级数据中心项目,之后从事UPS和微模块机房应用推广工作多年。通过数据中心CDCP/CDCS培训认证。具有丰富的数据中心规划设计和微模块机房应用经验,特别对供配电系统和数据中心预制化方案有深入的研究。
      
      王兵,伊顿西区售前技术支持经理,在数据中心动力系统应用领域有超过二十年的技术与工程经验,对数据中心UPS系统、直流电源系统及供配电系统有较深入全面的研究。
      
      编辑:Harris
      
      

  •