人工智能已从一种实验性工具演变为现代企业的支柱，将行业的关注焦点从单纯的模型训练转向了分布式智能的编排与调度。然而，这种规模的急剧扩张也暴露出了一项关键的物理制约。在竞逐实现实时人工智能的过程中，全球目光始终聚焦于AI的“大脑”——即大型语言模型(LLM)和GPU集群——却忽视了AI生命周期中不容回避的物理现实：即需要处理的数据往往远在算力发生地之外。
仅在今年首月，全球Token(词元)的使用量便翻了一番，突破了13万亿大关。然而，制约AI模型规模化扩展的瓶颈，远不止电力供应或GPU资源的短缺;更深层的原因在于连接这些资源的底层网络所固有的延迟与结构僵化问题。随着对网络容量需求的持续激增，现有的传统基础设施已无力支撑下一代AI应用所必需的高速数据流。我们正迈入一个分布式智能实时编排的新纪元，而我们沿用至今的传统系统正开始显露出不堪重负的疲态。
架构的转折点
若要理解为何传统的全球网络已不再能满足当前需求，我们必须审视数据传输方式所发生的重大变革。传统的企业网络是专为可预测的工作负载而构建的，其流量模式相对稳定。例如，员工打开客户关系管理(CRM)系统，发送一个小型请求，随后接收回适量的数据。这类流量的大部分路径通常是从用户终端设备流向集中式数据中心或云区域，然后再折返。
然而，AI 工作负载所产生的流量却呈现出截然不同的特性：它们对延迟极为敏感，且具有高度分散的分布特征。我们正目睹着两项结构性的转变，而这正是传统网络及广域网(WAN)在设计之初所未曾预见到、也无法有效应对的挑战。
“85/15”流量分配模式的终结
从历史上看，互联网容量的构建一直基于一种非对称模型：大约85%的容量专用于“下行链路”(即内容分发)，而仅有15%用于“上行链路”(即内容创作)。然而，生成式AI和实时推理技术的兴起，正彻底颠覆这一比例。
随着企业部署越来越多的AI应用，上行链路正逐渐演变为主要的瓶颈所在。这一趋势的背后推手，是数百万台边缘设备和AI辅助媒体工具，它们正源源不断地将高保真数据回传至GPU集群进行处理。这种向丰富、双向数据传输模式的转变，将把移动网络推向其承载能力的极限。若无法获得更多频谱资源，据预测，到2029年，运营商将仅能满足上行链路需求的约三分之二。对于IT领导者而言，这意味着传统的非对称网络已不再适应当前的需求;现代企业迫切需要重新审视并变革其网络连接的设计方式。
尽管过去“南北向流量”(即客户端与服务器之间的流量)曾是网络优化的首要重点，但如今，服务器、云平台与数据中心之间流转的“东西向流量”已后来居上，超越了前者。在现代AI工作流中，用户发出的单条指令(Prompt)并非仅触发一次简单的响应，而是会引发一系列复杂的内部数据传输。如果网络架构仍停留在针对SaaS时代进行优化的旧模式下，这种频繁的“内部通信”将导致延迟问题呈指数级累积。每浪费一毫秒在这些相互孤立的系统(数据孤岛)之间跳转，都会降低最终输出结果的质量，从而将原本应高效实时的AI助手，变成一个反应迟钝、令人倍感挫败的低效工具。
“边缘优先”推理的兴起
如今，企业已逐渐意识到，单纯依靠提升算力，并无法克服网络连接质量不佳所带来的瓶颈。为了突破全球网络受光速限制而产生的延迟难题，那些成功的组织正着手将推理引擎部署得更靠近数据源。通过在网络边缘部署专用的裸机计算资源，并利用高速、私有的光纤链路将其互联，企业便能彻底绕开拥堵不堪的公共互联网。
这一举措构建了一个统一的逻辑系统。借助软件定义网络(SDN)技术，位于北弗吉尼亚州的 GPU、位于伦敦的向量数据库以及位于新加坡的终端用户，能够协同运作，仿佛它们全部驻扎在同一台服务器之中。在实时 AI 应用场景下，运行速度与性能稳定性同样至关重要。如果前一个数据单元(Token)的传输耗时为 10 毫秒，而紧随其后的下一个单元却耗时 100 毫秒，模型的输出结果便会变得极不稳定、充满变数。唯有采用私有、专用的网络连接，方能确保实现企业级 AI 应用所必需的那种可预测且稳定的确定性性能。
备战“智能体”流量激增
向 AI 智能体(AI agents)的转型，使得对网络一致性和响应速度的需求变得尤为迫切。如果说第一波 AI 浪潮的主角是聊天机器人，那么第二波浪潮的核心便是智能体——这正给全球基础设施带来了前所未有的巨大压力。
与人类用户仅发出单条指令不同，智能体之间的相互通信会产生海量且持续的“Token”交换流，而传统的网络系统根本未曾针对此类负载进行过设计。智能体之间的通信往往需要消耗比标准的人机交互指令多出 5 到 10 倍的 Token 资源。在 Megaport，我们已观察到：在那些率先启动智能体集成部署的特定网络通道上，流量激增幅度已超过 100%。如果您的网络如今在应对聊天机器人流量时已显吃力，那么面对未来智能体驱动的各类工作流，它将注定不堪重负。
以连接能力构筑竞争优势
现实情况是：您的AI战略成效如何，完全取决于其所依托的网络环境。业界已投入数十亿美元，旨在让这些系统的底层基础变得更加智能化、高速化且功能强大。然而，若不对负责将“令牌”(tokens)从GPU传输至用户的互联架构进行相应的投资，您的AI战略终将陷入无尽的等待——苦候着那永远无法抵达的网络连接。
企业无法仅仅通过简单地增加带宽来解决这些难题。富有前瞻性的组织已着手采用“混合云”与“边缘优先”的架构模式：它们将涉及敏感数据或AI密集型的工作负载迁移至私有数据中心，并将AI推理任务部署得更贴近用户端，以此绕开互联网拥堵瓶颈。通过充分利用专用的互联架构，这些企业能够将分散各处的GPU集群视为一个单一且统一的整体系统，而非彼此孤立的“信息孤岛”。
随着月均处理量高达13万亿个“令牌”的场景以及自主智能体(Autonomous Agents)的兴起逐渐成为常态，网络已不再仅仅是企业后台的一项辅助性基础设施。若想取得成功，必须对网络连接架构进行根本性的重塑。那些最终能够脱颖而出的组织，正是那些率先转变观念的先行者——在网络容量缺口变得无法弥合之前，它们不再将网络仅仅视为一条单纯的“数据管道”，而是将其提升至AI技术栈的基石层面加以重视。
参与评论 (0)