随着生成式 AI 工作负载重塑数据中心经济学，英伟达主张，传统的指标——包括每美元 FLOPS（每秒浮点运算次数）和原始计算成本——已无法反映 AI 系统如何交付商业价值。

在一篇博文中，英伟达表示数据中心正从处理数据的系统演变为其所谓的“AI 代币工厂”（AI token factories），其核心产出是推理过程中生成的代币（Tokens）。英伟达认为，这种转变要求运营商相应地改变衡量总拥有成本（TCO）的方式。

英伟达（Nvidia）认为，衡量 AI 基础设施的标准应从传统的计算指标转向“每代币成本”（Cost Per Token），但分析师指出，这一方法可能更偏向超大规模云环境，对于企业级 IT 而言尚不成熟。

从计算指标到产出经济学

英伟达对三种常见的指标进行了区分：

  • 计算成本：客户为基础设施支付的费用。

  • 每美元 FLOPS：理论上的计算效率。

  • 每代币成本：生成可用的 AI 产出所需的总成本。

英伟达断言，前两者属于“投入指标”，而每代币成本才反映了实际的业务结果。

“当业务依赖产出运行时，却去优化投入，这是一种根本性的错配。”英伟达在博文中写道。

这一表述符合行业向推理密集型工作负载转型的趋势。在这些场景中，性能越来越多地通过大规模的吞吐量、延迟和效率来衡量，而非峰值计算能力。

“分母”问题

英伟达论点的核心是一个简单的等式：每代币成本不仅取决于基础设施成本，还取决于系统能生成多少代币。

公司表示，许多企业只关注降低“分子”（即每 GPU 小时的成本），却低估了最大化代币产出的重要性。英伟达认为，产出是由整个技术栈的综合因素驱动的，包括：

  • 大规模模型的互连性能。

  • 对 FP4 等更低精度格式的支持。

  • 推测性解码（Speculative Decoding）等推理优化。

  • 服务层效率（包括 KV 缓存管理）。

  • 训练与推理中的系统级利用率。

其暗示显而易见：硬件定价本身并不决定经济效率，系统级优化才是关键。

Blackwell 与 Hopper：英伟达的证言

为了支持这一观点，英伟达展示了其内部分析，对比了基于 DeepSeek-R1 模型的 Hopper 架构平台与最新的 Blackwell 架构系统。

根据英伟达的数据，虽然 Blackwell 系统的每小时计算成本大约是前者的两倍，但它们提供了显著提高的吞吐量：

  • 每颗 GPU 每秒生成的代币数量提升高达 65 倍。

  • 每兆瓦电力生成的代币数量提升约 50 倍。

  • 每百万代币的成本降低约 35 倍。

这些数据基于英伟达的分析以及来自 SemiAnalysis 的第三方基准测试。该对比强调了英伟达的核心论点：当以产出为基准时，较高的前期成本并不一定意味着更高的运营成本。

厂商的话术，还是行业预示？

Moor Insights & Strategy 副总裁兼首席分析师 Matt Kimball 表示，应谨慎看待英伟达对“代币经济学”的推动。

“每当厂商提出衡量成功的指标时，产生怀疑是可以理解的，”Kimball 说，“在这种情况下，代币经济学显然对英伟达有利，因为他们掌控着从芯片到软件的整个系统。因此，推动这一成功的定义符合其商业逻辑。”

Kimball 认为，这一指标体现了英伟达作为全栈供应商的优势，使其能够跨硬件和软件层实现性能增益。

“每代币成本”对数据中心运营商意味着什么？

对于运营商和企业买家来说，转向代币经济学引入了一个更复杂的评估模型。基础设施决策将不再仅仅比较价格或峰值性能，而是取决于：

  1. 实际工作负载的效率。

  2. 软件栈的成熟度。

  3. 受电力约束的吞吐量（每兆瓦代币数）。

  4. 维持高利用率的能力。

Kimball 指出，该指标在超大规模（Hyperscale）领域具有合理性，因为那里的运营商运行的是高度优化、同质化的环境。

然而，他认为将每代币成本作为企业 IT 的定义性衡量标准还为时过早。“如果我们说每代币成本是市场最低的，但由于响应太慢或准确度不够，用户根本不想使用这个产品，那么每代币成本就毫无意义。”

行业共识尚未达成

IDC 研究副总裁 Dave McCarthy 认为，这一指标定义过于狭窄，难以在企业决策层产生共鸣。

“虽然每代币成本为基础设施效率提供了精准的工程基准，但它仍是一个高度技术化的视角，无法完全转化为董事会的语言，”McCarthy 表示，“对于更广泛的企业而言，代币只是计算单位，它没有计入产出所产生的实际业务价值。”

McCarthy 预测，企业将优先考虑能将 AI 性能与结果更直接挂钩的指标，例如“单次推理价值”（Value per Inference），以平衡技术性能与 AI 应用的有形投资回报率（ROI）。

现状总结

英伟达的论点反映了 AI 基础设施的一个重大转变：从衡量计算能力转向衡量交付的“智能”。

每代币成本是否会成为行业的主导指标仍有待观察。目前的辩论凸显了超大规模环境与普通企业部署之间的鸿沟——前者看重基于产出的量化指标，而后者仍受性能稳定性、可用性和实际业务价值的驱动。

资料来源：TechTarget