核心观点
-传统无源机柜已无法承载AI负载,制冷、供电与连接的一体化方案成为必需。
-冷板式(直接芯片)液冷、背门式换热器与浸没式液冷,是应对热负荷攀升的三种必要手段。
-高速光连接要求精细的通道管理、光纤密度规划与结构化布线,以避免形成新的瓶颈。
-包括更高电压直流在内的供电架构演进,要求机柜设计能够容纳未来的配电方式。
-以系统级视角选型机柜,才能兼顾可扩展性、可维护性与技术适应性。
机柜:从无源部件到系统交汇点
多年来,机柜在数据中心设计中大体扮演着一个无源部件的角色。但随着AI负载带来前所未有的算力密度提升,机柜已经成为制冷、供电与连接三者正面交汇的场所。过去那些例行公事的决策,如今影响着从散热性能、线缆管理到部署进度与长期可扩展性的方方面面。
当这些系统之间的相互依赖越来越深,能否在不产生高昂返工的前提下完成机柜内外基础设施的规划与安装,将直接决定数据中心项目能否按期、按预算交付。
基于GPU的系统带来了算力的跃升,但同时也把更多的电力、热量与网络连接集中到了有限的物理空间里。
随着IT设备与基础设施不断演进,封闭体(机柜)也必须同步演进。业主、设计工程师与施工方需要评估:机柜如何支撑当前的散热策略、线缆密度与路由通道、配电方式、设备承重以及维护可达性,同时还要为技术需求的变化留出足够的灵活性。
基础设施必须跟上算力的步伐
AI正在迫使机柜去承载它原本并非为此设计的负载。单台GPU服务器的功耗,可能已经与过去一整列基于CPU的机柜处于同一量级;而一个机柜中还有可能安装多台GPU服务器。
随着这些系统在有限空间内堆积起更高的计算能力,机柜的功率密度已经超出了数据中心基础设施传统上所能支撑的水平。这推动了新散热方式的采用,也促使行业开始考虑替代性的配电架构。
与此同时,GPU所需的高速通信,正在急剧抬升机柜内必须承载的光连接密度。
所有这些,都在有限的机柜空间内构成了一项基础设施管理难题。制冷、连接与供电已经无法再作为彼此独立的系统来设计——它们中的每一项都会影响到封闭体尺寸、可用机柜空间、路由通道以及长期可维护性,因此必须在设计的最初阶段就进行一体化规划。
以下三个领域,应当成为组织评估机柜与封闭体系统时的核心框架。
一、为液冷预留空间
随着机柜功率密度的上升,单纯依靠传统风冷已越来越不现实。如今,液冷必须被纳入考量,主要有三种技术路线:
冷板式液冷(Direct-to-Chip,亦称直接液体冷却):通过冷板把热量从芯片表面带走。
背门式换热器(Rear-DoorHeatExchanger,RDHx):在机柜背部对热风进行截留换热,使其在进入白空间之前就被降温。
浸没式冷却:将IT设备浸入惰性、不导电的液体中,通过液体带走热量。
具体采用哪种路线,取决于应用场景与设备类型。同时,每种路线都会带来不同的基础设施需求。例如,冷板式液冷需要机柜能够容纳分液歧管(manifold)以及供液、回液管路。
因此,机柜选型必须同时考虑IT设备的尺寸与结构要求,以及液冷系统所需的管路通道与维护空间。现有封闭体只要在宽度、深度与布线/管路空间上足够,同样可以支撑这类基础设施;而较新的机柜设计则可以把冷却歧管及相关部件更直接地集成进来,这也反映出机柜与冷却系统之间的关系正变得日益紧密。
二、为激增的连接需求留出空间
AI集群要求GPU之间以高速、低时延的方式交换并同步海量数据。行业从400G迈向800G、并最终走向1.6T,就像是把高速公路拓宽以承载更大的车流。随着AI系统交换的数据量不断增大,网络容量必须大幅提升,才能避免出现瓶颈。
并行光学以及每个集群中不断增加的GPU数量,进一步推高了光纤芯数。对于机柜这一限制通道容量的环节而言,线缆入口位置、弯曲半径管理以及与冷却、供电基础设施之间的隔离,正成为越来越重要的设计考量。高密度光纤解决方案与MPO(多芯推入式)连接器,有助于在狭小空间内容纳更多光纤;但团队同样需要预留足够的垂直与水平理线空间,以便在不妨碍冷却部件或其他机柜基础设施的前提下,完成线缆的布放、接入与维护。
机柜选型阶段就应当考虑安装与长期可维护性,而不是等设备到货之后再回头考虑。如果技术人员无法方便地布放、识别和接触线缆,那么封闭体本身就会在建设期与后续变更中成为瓶颈。采用标准化、结构化的布线方式,也能通过让光纤更易识别、追溯与排障,简化部署与后续变更。
三、重新思考到机柜的供电方式
AI数据中心需要更高效的方式,把越来越多的电力输送到机柜。
目前,数据中心把交流电分配到机柜,再由电源单元(PSU)将其转换为直流电供设备使用。但对于AI负载下功率持续攀升的机柜而言,这种架构会带来能效挑战,并推高铜材用量。
行业同时也在为更高电压的直流配电做准备。例如,NVIDIA正在开发800V直流架构,将AC-DC转换从机柜上移到设施层级,从而在未来AI系统要求更大功率时,有望减少线缆体积与铜材需求。
这些演进中的架构同样会影响封闭体设计。机柜可能需要容纳不同的母线槽、线缆与配电方式,同时不能牺牲可用空间、气流组织与技术人员操作空间。
由于这些架构、配套标准与行业产品仍在演进之中,工程师与施工方应当避免只围绕今天的供电模式来设计封闭体。机柜决策需要为未来数年电力可能以何种方式传输与转换,保留足够的灵活性。
按系统选型,而不只是按服务器选型
随着机柜基础设施持续演进,组织应当把封闭体作为更大系统的一部分来评估,而不是把它留到项目后期当作一项设备采购决策。选型至少需要覆盖:散热方式、线缆密度与路由、配电策略、物理承重与占地、安装要求、技术人员操作空间,以及随设备变化而调整的能力。
机柜已经不再只是一个"安装设备的地方",它是制冷、连接与供电三者交汇的节点。那些把封闭体选型当作事后事项的组织,最终可能要面对通道、操作空间与容量上的种种限制,而修正这些限制的代价往往十分高昂。更好的做法是:把机柜选型纳入整体基础设施战略,既满足当下的容量需求,也为下一步保留足够的灵活性。
编辑:Harris
