高密度数据中心冷却：如何协调服务器机柜与冷却系统

随着人工智能和高性能计算的快速发展，服务器和机柜功率密度的不断提高导致更高的热负荷，并增加了热点和散热不均的风险。高效的数据中心冷却需要服务器机柜、气流管理和冷却系统之间的紧密协调，尤其是在高密度GPU环境下的人工智能数据中心冷却。

高密度数据中心的冷却系统和服务器机柜

高密度数据中心冷却解决方案是一种系统化的热管理方法，专为高功率服务器、GPU设备、网络设备和其他IT基础设施而设计。它不仅包括空调、风冷和液冷，还包括机柜设计、气流方向、机柜功率密度、配电、线缆管理和监控系统。一个完整的高密度数据中心冷却系统可以概括如下：

在这个冷却系统中，服务器机柜不仅仅是安装设备的框架，它还承担着以下几个重要功能：

• 支撑服务器、GPU、交换机、PDU 和液冷组件;
• 根据设备气流方向组织冷热空气流动;
• 支持冷热通道配置、盲板和气流隔离;
• 为 PDU、电源线和网线提供安装和管理空间;
• 为后门热交换器、液冷管道和监控组件提供集成平台。

如果机柜和冷却系统是分开设计的，可能会出现问题——例如，设备可能装进了机柜，但冷却不足;或者冷却能力足够，但气流效率却很差。

服务器机柜与冷却系统协调设计的关键优势

1. 保持稳定的运行温度 服务器机柜与冷却系统协调设计，确保冷却能力与机柜的实际功率密度和热负荷相匹配。这有助于维持高功率服务器和GPU的稳定运行温度，降低热点、过热和性能下降的风险。

2. 最大化散热效率 合理的机柜布局和气流管理有助于更有效地将冷空气输送到设备入口，同时减少气流旁路和热空气循环。这提高了散热效率，并有助于散热系统在高密度负载下更有效地运行。

3. 简化高密度部署 集成式方案使服务器机柜能够在协调的物理布局中容纳IT设备、PDU、高密度电源和网络布线以及散热组件。这简化了安装和维护，同时减少了IT设备和散热基础设施之间的空间冲突。

4. 支持未来扩展和可视性 随着AI和GPU工作负载的增加，机柜功率密度也随之增加，协调的机柜和散热基础设施可以使未来的容量扩展更加容易。智能机架PDU还可以提供电源状况的实时可视性，帮助操作员监控负载并更好地制定有关电源、散热和机柜容量的决策。

服务器机柜和冷却系统选型五步指南

在为数据中心的服务器机柜选择冷却方案时，应首先考虑实际的 IT 负载和气流需求，而不是特定的冷却技术。一个实用的选择过程可以分为五个步骤：

步骤 1：确定服务器机柜的功率密度

首先确定每个机柜的额定功率、典型功率和峰值功率。应考虑所有已安装 IT 设备的总功率，而不仅仅依赖于单个服务器的额定功率。

注意：对于人工智能机柜，应同时考虑持续运行功率和短期峰值功率，因为峰值负载会影响电源分配单元 (PDU) 和冷却系统的容量。

步骤 2：评估整体热负荷

IT 设备消耗的大部分电力最终都会转化为热量。因此，机柜功率可以作为估算热负荷的实用起点，但也应考虑整体部署环境。对于高密度区域，评估步骤如下：机柜热负荷 → 区域总热负荷 → 所需冷却能力。关键因素包括：

•  服务器和 GPU 的发热量
• 网络和存储设备
• 内部电源组件
• 环境条件
• 未来扩展产生的额外热量

对于部署在同一区域的多个高密度机柜，应评估区域的总热负荷，而不是仅根据单个机柜来确定冷却容量。

步骤 3：检查气流要求

在选择服务器机柜或冷却方法之前，首先要了解空气如何在设备和机柜中流动。评估以下五个关键气流因素，以确定合适的冷却方案。

1. 设备气流：确认服务器、GPU 和网络设备的进气和排气方向。

2. 通道配置：确定部署采用的是热通道还是冷通道布局，以及是否需要封闭式设计。

3. 机柜气流：检查机柜前后气流路径以及顶部、底部或侧面的潜在旁路。

4. 气流管理：考虑使用盲板、机柜间距和线缆布线，以防止气流受阻。

5. 维护空间：确保前后有足够的空间，以保证气流顺畅和设备维护。

只有在明确了这些要求之后，操作人员才能确定合适的冷却方式。

步骤 4：选择合适的冷却方式

合适的冷却方式主要取决于机柜的功率密度、热负荷和设备配置。

步骤 5：验证服务器机柜兼容性

选定冷却方式后，请验证机柜是否能够同时支持 IT 设备和所需的冷却基础设施。以下清单涵盖了关键的兼容性类别：

最终检查应确认机柜、设备、气流和冷却基础设施能够作为一个集成系统运行。如果这些要素不兼容，后续的设备变更或基础设施改造可能会增加部署成本和复杂性。

不同服务器机柜部署的冷却策略

传统网络与 AI 混合机柜部署

传统数据中心向 AI 基础设施转型时，很少会一次性完成全面升级。AI/GPU 基础设施通常与传统 IT 服务器、网络设备和存储系统共存。核心工作负载可能会优先进行 AI 和高密度升级，而其他区域则保留现有的 IT 基础设施，这导致机柜功率密度、热负荷和冷却需求存在显著差异。

这种混合部署需要差异化的冷却策略，而不是一刀切的方法。机柜应根据其功率密度、设备类型和冷却需求进行分组。

H100/H200 GPU 服务器机柜部署

H100、H200 及类似的高密度 GPU 服务器部署的机柜功率密度可达约 40–60 kW，因此，高效的 AI 数据中心冷却越来越依赖于机柜级的气流管理、线缆管理和冷却基础设施集成。在这些部署中，机柜不仅需要支持 GPU 服务器，还需要为气流管理和冷却系统提供足够的空间和安装条件。

针对此类部署，42U 服务器机柜采用前后气流设计，并可与冷却系统集成，以支持高密度 GPU 服务器的安装。

• 前后气流：通风的前后门支持冷热通道布局，有助于建立清晰的前后气流路径。
• 减少气流旁通：结合盲板和有效的线缆管理，该机柜有助于减少气流旁通和热空气循环。
• 更大的布线和PDU空间：800毫米的宽度为密集的电源和网络布线、垂直PDU以及线缆管理配件提供了额外的空间，最大限度地减少了线缆拥塞对气流的影响。
• 冷却系统兼容性：根据热负荷和设施基础设施，机柜可容纳机柜级冷却组件，例如后门热交换器。
• 灵活的设备安装：可调节的安装深度和高承载能力支持不同的GPU服务器配置，同时为后部电源、网络和冷却连接提供了足够的空间。

在实际的AI数据中心冷却部署中，应将机柜与冷热通道封闭、盲板、线缆管理和后门热交换器一起规划，以优化机柜级气流和散热。当GPU密度超过空气冷却的实际范围时，应同时评估机柜和冷却基础设施，以采用液冷或混合冷却方案，包括服务器冷板、液冷管道、CDU和其他配套组件。

B200 和下一代 GPU 服务器机柜部署

B200 和下一代 GPU 服务器集成了比上一代系统更多的高性能 GPU 和高速互连组件，因此设备密度、功耗和散热需求更高。

• 服务器级功耗：一个 8 GPU 的 DGX B200 系统占用 10U 机柜，输入功率最高可达 14.3 kW。
• 机架级功耗：当多个系统安装在同一机柜中或部署为机架级 GPU 集群时，机架总功耗会显著增加。根据系统配置，某些下一代机架级系统可能需要约 120 kW 的功耗。
• 散热影响：随着更多 GPU 和功率集中在机柜内，热负荷会更高且更集中。因此，应根据实际部署规模、机架功耗和机房基础设施选择合适的散热解决方案。

对于此类部署，可考虑使用 48U 服务器机柜构建机架级 AI 基础设施。其 48U 的高度支持安装多台高功率 GPU 服务器，而 1470 毫米的深度则为加深型服务器机箱、后部电源接口、高速网络、液冷基础设施、CDU 连接以及供回水管道提供了额外的空间。750 毫米的宽度也为垂直 PDU、大电流电源线和高密度互连提供了横向空间。

在更高的机柜功率等级下，该机柜可以集成后门热交换器、芯片级液冷或混合式风液冷却系统，但需满足与 GPU 服务器机箱、安装导轨、冷却接口、管道布线要求以及机房级电力和冷却能力的兼容性要求。这使得机柜空间、电源分配、气流和冷却基础设施可以作为一个集成系统进行规划。

结论

高密度数据中心冷却是一项系统工程挑战，需要协调规划服务器机柜、气流、冷却和电源，才能有效应对不断增长的机柜热负荷。通过将服务器机柜和冷却系统进行协同设计，数据中心可以减少热点，提高冷却效率，优化基础设施空间，并支持未来的 AI 和 GPU 部署。

资料来源：FS