随着生成式AI、大模型训练和AI智能体应用持续发展，AI数据中心正在快速进入超大规模集群时代。数千甚至数万颗GPU被集中部署之后，决定整个AI基础设施效率的已经不只是GPU本身，网络Fabric能否持续提供稳定带宽、低时延和高可靠的数据交换能力，正在成为影响GPU利用率和AI任务完成时间的关键因素。
这也意味着，数据中心网络正在从传统的“连接设备”逐渐转变为AI算力基础设施的重要组成部分。
Dell’Oro Group研究副总裁Sameh Boujelbene指出，在AI数据中心中，网络正在成为决定集群效率的重要因素。即使企业投入巨资采购GPU，如果网络无法提供可预测的带宽和低时延，那么最终得到的也可能只是大量无法充分发挥性能的“闲置算力”。
目前，Cisco、Broadcom、NVIDIA等厂商正在围绕51.2Tbps至102.4Tbps级以太网交换芯片展开竞争，并通过更大的缓存、更精细的遥测能力、拥塞控制和负载均衡等技术，应对AI工作负载高度突发、并行和集群化带来的网络压力。
对于数据中心基础设施产业而言，这意味着新一轮网络升级正在加速到来。
AI基础设施进入“向上、向外、跨中心”扩展阶段
传统数据中心网络设计主要解决服务器、存储和用户之间的数据通信问题。但AI集群的通信模式明显不同。
一个大型AI模型训练任务可能同时调用数千颗GPU，GPU之间需要进行频繁的数据交换和同步。一旦某个网络链路发生拥塞，甚至只有少量节点出现明显延迟，都可能影响整个计算任务的完成时间。
因此，AI基础设施正在沿三个维度持续扩展：
- Scale Up（向上扩展）：在单台服务器或单个机架中配置更多计算资源，通过高带宽互联提高单节点计算密度。
- Scale Out（横向扩展）：增加更多服务器和机架，通过高速网络将多个GPU节点连接起来，形成大规模AI计算集群。
- Scale Across（跨数据中心扩展）：通过光网络连接不同数据中心，使多个区域的数据中心能够协同承载AI计算任务。
这三个维度对网络提出了不同要求。Scale Up更关注机架内部和节点内部的低时延、高带宽连接；Scale Out重点解决GPU服务器、机架之间的大规模数据交换；Scale Across则需要面对长距离光纤传输、链路容量、缓存、拥塞控制以及跨地域网络可靠性等问题。
因此，未来AI数据中心网络并不是简单地将交换机端口速率从400G提升到800G或更高速率，而是需要从芯片、交换机、光互联、布线、网络操作系统到数据中心整体架构进行系统性优化。
102.4Tbps成为下一代交换芯片的重要指标
在这一趋势下，102.4Tbps级交换芯片正在成为AI数据中心网络的重要技术节点。Cisco最新一代Silicon One系列产品就是其中的代表。
Cisco将Silicon One G300定位为面向数据中心内部Scale Out场景的高性能网络芯片，用于连接不同GPU机架以及其他计算设备。G300采用512条200Gbps高速通道，实现最高102.4Tbps总交换容量。相比传统企业数据中心网络，AI集群最大的特点之一是流量高度突发。
当大量GPU同时进行模型训练、参数交换或集体通信时，网络流量可能在极短时间内快速达到峰值。如果交换设备无法有效处理瞬时拥塞，就会出现排队、丢包和延迟增加，最终导致GPU等待数据。
因此，AI交换芯片需要具备更强的突发流量处理和拥塞管理能力。Cisco表示，G300通过动态流量处理和拥塞规避机制，可以在网络发生拥塞时快速调整数据包转发路径，从而降低延迟并提升GPU有效工作时间。
除了高带宽之外，G300还集成了实时遥测、身份感知转发和流量可视化能力。这说明AI网络芯片的发展方向正在发生变化：网络交换芯片不再只是负责“转发数据”，而开始承担越来越多的网络感知、流量分析和智能调度任务。
从Scale Out走向Scale Across
如果说G300主要解决数据中心内部GPU集群的网络问题，那么Cisco Silicon One P200则针对的是数据中心之间的Scale Across场景。P200能够提供最高51.2Tbps的交换能力，采用512×100Gbps链路设计，并结合外部高带宽内存（HBM）实现更深的缓存。
跨数据中心网络与普通数据中心内部网络存在明显差异。在数据中心内部，网络距离较短，交换机之间可以采用高速短距光互联。而跨数据中心连接往往需要经过更长距离的光纤链路，网络延迟、突发流量和链路利用率问题更加突出。
深缓存能够在流量突发时暂时吸收数据包，从而降低拥塞对整体网络性能的影响。Cisco认为，P200可以帮助光纤链路在较长时间内保持较高利用率，同时通过深缓存改善拥塞处理能力。随着AI算力资源从单一数据中心向多数据中心部署，这种能力的重要性将进一步提升。
未来，一些超大规模AI训练任务可能不再局限于单一园区，而是通过高速光网络将多个数据中心连接起来，形成更大范围的计算资源池。这也意味着，数据中心之间的光网络将逐渐成为AI基础设施的重要组成部分。
高密度网络设备开始进入液冷时代
AI网络升级还带来了一个经常被低估的问题：功耗和散热。
当交换芯片的交换容量从25.6Tbps、51.2Tbps提升到102.4Tbps甚至更高，芯片功耗以及设备整体热密度也同步增加。与此同时，AI服务器机柜功率密度已经快速突破传统数据中心设计范围，部分高密度AI机柜的功率已经超过100kW。
因此，AI数据中心的液冷需求正在从GPU逐渐扩展到网络设备。Cisco已经在部分高端交换机中采用液冷设计，通过冷板直接覆盖高功耗芯片，并将热量传递到机架或数据中心液冷系统。
根据不同客户需求，交换设备可以采用全液冷、部分液冷或传统风冷设计。这意味着未来数据中心基础设施设计需要更加重视算力、网络、供电、制冷和机柜空间之间的协同。
对于综合布线企业而言，这也会带来新的影响。液冷机柜中的设备布局更加紧凑，高速光模块和光纤连接数量持续增加，布线密度、光纤弯曲半径、走线空间以及维护便利性都需要重新考虑。
因此，未来AI数据中心综合布线将不再只是解决“连接多少个端口”的问题，而需要与高密度机柜、液冷系统、高速光互联以及AI集群拓扑进行整体设计。
Broadcom、NVIDIA同步布局102.4Tbps级网络
Cisco并不是唯一一家押注102.4Tbps网络的厂商。
Broadcom推出的Tomahawk 6同样面向AI训练和推理场景，支持512或1024条高速通道，并提供64端口配置，可支持最高1.6Tbps以太网交换和路由能力。其单芯片交换容量同样达到102.4Tbps。Broadcom重点强调负载均衡、拥塞管理以及链路稳定性，希望通过网络优化提高AI模型训练期间的网络利用率，减少任务中断并提升集群可靠性。
这背后的核心逻辑与Cisco基本一致：AI数据中心真正需要的不是峰值网络带宽，而是能够让GPU持续获得数据的稳定网络带宽。
NVIDIA则通过Spectrum-6进一步强化AI以太网网络能力。Spectrum-6同样属于102.4Tbps级以太网交换ASIC，并作为NVIDIA Spectrum-X Ethernet平台的重要组成部分，为AI和云计算工作负载提供网络支持。
NVIDIA认为，传统以太网最初主要面向企业应用以及用户、服务器、存储之间的南北向流量，而大规模AI集群则产生大量同步、集体通信和东西向流量。因此，AI网络需要针对这种新的流量模式进行重新优化。
Spectrum-X的核心方向之一，就是通过预测性性能管理以及针对突发流量的网络机制，降低抖动和拥塞，使以太网能够更好地承担大规模GPU集群的Scale Out网络任务。
AI网络的竞争已经从“端口速率”进入“系统效率”
从Cisco、Broadcom和NVIDIA的产品路线可以看到，下一代AI网络竞争已经不再单纯围绕“谁的交换芯片端口速度更快”。102.4Tbps正在成为重要基础能力，但真正决定AI集群效率的还包括：
- 拥塞控制能力
- 负载均衡能力
- 网络缓存深度
- 实时遥测与可观测性
- 链路稳定性
- 低尾延迟
- AI流量调度
- 故障检测与恢复
- 光互联效率
- 每Gbps功耗
其中，“尾延迟（Tail Latency）”尤其值得关注。AI集群中的任务往往需要多个GPU协同完成。如果绝大多数GPU都已经完成计算，却因为少量网络链路或节点出现延迟而等待，那么整个任务的完成时间仍然会被最慢的部分拖延。
因此，AI网络设计需要从传统的“平均性能”进一步转向确定性性能和低尾延迟。这也是为什么网络遥测、拥塞感知、动态路由和流量调度等能力越来越重要。
超大规模云厂商将成为第一批用户
目前，并不是所有数据中心都需要部署102.4Tbps级交换网络。对于普通企业数据中心而言，如果AI计算规模有限，采用如此高规格的网络设备可能并不具备经济性。
Dell’Oro Group预计，最先采用这些高性能网络芯片和交换系统的将主要是超大规模云服务商、Neocloud以及主权AI云服务商。
随着AI基础设施规模扩大，这些技术才会逐渐向更多企业数据中心渗透。这一发展路径与GPU基础设施类似：最先进的AI计算和网络设备通常首先进入超大规模AI集群，然后随着成本下降、标准成熟和生态完善，逐渐进入更多行业场景。
因此，对于企业数据中心而言，当前并不意味着必须立即完成网络全面升级，但需要重新认识AI网络在基础设施架构中的地位。如果企业计划部署大规模GPU集群，网络应该与服务器、GPU、存储和电力系统同步规划，而不能等计算基础设施建设完成之后再“补网络”。
综合布线：AI数据中心升级背后的关键基础设施
102.4Tbps网络能力的提升，也将直接推动综合布线技术升级。当单端口速率从400G向800G乃至1.6T演进时，数据中心内部高速互联对光模块、光纤链路和连接器的要求都会明显提高。尤其是在AI集群中，大量GPU服务器需要通过高速网络进行东西向互联，网络连接数量和链路密度远高于传统企业数据中心。
这将推动以下几个方向持续发展：
第一，高速光互联成为AI数据中心核心基础设施。400G、800G以及未来更高速率的光模块和光纤链路将成为大规模AI集群的重要连接方式。
第二，MPO/MTP等高密度光纤连接方案的重要性进一步提升。AI机柜中的高速光连接数量快速增长，传统单芯光纤连接方式在端口密度和部署效率方面将面临更大压力。
第三，预端接布线系统需求增加。AI数据中心建设周期越来越短，大规模GPU集群需要快速部署，预端接光纤、模块化布线和即插即用连接方案有望进一步普及。
第四，布线系统需要适应高密度和液冷环境。AI机柜空间更加紧凑，网络设备、GPU服务器和液冷系统共同占据机柜空间，布线设计必须更加关注走线效率、维护空间和热管理。
第五，网络可视化将逐渐延伸到物理层。当网络已经具备实时遥测和智能分析能力后，物理层布线状态也需要更加透明。未来智能数据中心可能进一步实现从交换机端口到光模块、光纤链路乃至机柜端口的全链路可视化。
网络正在成为AI数据中心的“第一性设计”
AI数据中心的发展正在改变一个长期存在的基础设施观念：过去，网络往往被视为连接服务器的基础设施；而现在，网络本身正在成为决定AI算力是否能够有效释放的关键系统。
随着机柜功率密度突破100kW、GPU集群持续扩大以及AI模型通信量不断增加，计算、网络、存储、供电、制冷和布线之间的边界正在逐渐消失，未来AI数据中心的设计将越来越强调系统级协同。
对于网络设备厂商而言，竞争焦点将从交换容量进一步转向AI集群整体效率；对于综合布线企业而言，市场机会也将从传统结构化布线逐渐向高速光互联、高密度预端接、AI数据中心布线架构和智能运维延伸。
102.4Tbps只是一个技术节点，更重要的是，它代表着AI数据中心网络正在进入一个新的阶段：网络不再只是连接算力，而是在决定算力能否真正成为生产力。随着Scale Up、Scale Out和Scale Across三种扩展模式不断融合，未来AI基础设施将形成从芯片、服务器、交换机、光模块、综合布线到数据中心之间高速光网络的完整技术体系。
对于正在推进智算中心、AI数据中心和高密度机房建设的企业而言，网络架构和综合布线已经不应被视为后置工程，而应该成为AI基础设施规划阶段就必须同步确定的核心系统。
参与评论 (0)