📰 AI 资讯

从GPU到Token：英伟达Vera Rubin如何重构下一代AI工厂

2026-07-17 10:09

英伟达正在将下一代 AI 基础设施的竞争，从“谁拥有更快的 GPU”推向“谁能建成效率更高的 Token 工厂”。 之前，企业只需要数百到数千块加速卡组成的集群，但现在 AI 基础设施面对的任务已经不再是完成一次次更大规模训练，还需要支持智能体系统持续运行生成更多 Token、KV cache，并产生大量 CPU 沙盒、网络通信和数据存取等需求。 这意味着，AI 基础设施的衡量标准正在发生根本变化。单颗芯片的峰值算力仍然重要，但已经不足以决定系统最终能够创造多少价值。用户更关心的是，在固定电力、机房空间和资本投入下，系统能够持续生成多少 Token；单个用户获得 Token 的速度有多快；每百万 Token 需要多少成本；以及数万乃至更多加速器能否长时间保持稳定运行。 Vera Rubin 正是英伟达面向智能体 AI 下一阶段给出的系统级答案。它并非单纯升级 GPU，而是将 CPU、GPU、LPU、DPU、网络、上下文存储和软件编排整合为一套异构基础设施，让不同处理器承担各自擅长的任务，共同扩大 AI 工厂的 Token 产能。 <h3 data-type="heading" data-id="heading0">核心计算 Vera Rubin：更重持续产出</h3> Vera Rubin NVL72 是这套基础设施中的核心计算引擎。它集成了 72 颗 Rubin GPU、36 颗 Vera CPU，通过大规模 NVLink 铜质主干相连，可作为一个巨大的 GPU。 对上层软件而言，这 72 颗 GPU 可以像一个拥有超大显存和计算能力的统一加速器运行。机架内部使用第六代 NVLink 和 NVLink 6 Switch 完成纵向扩展，机架之间则可以通过 Spectrum-X Ethernet 或 Quantum-X800 InfiniBand 进行横向扩展。 与 GB200、GB300 NVL72 类似，Vera Rubin NVL72 将 CPU、GPU、交换系统和网络端点设计为一个统一平台。区别在于，Rubin 进一步提升了计算密度、显存带宽和 GPU 间通信能力，并针对推理、后训练和智能体工作负载增加了新的 Transformer Engine、全机架机密计算能力以及第二代可靠性、可用性和可维护性引擎。 官方数据显示，单颗 Rubin GPU 提供 288 GB HBM4 显存和 22 TB/s 显存带宽，NVFP4 推理性能达到 50 PFLOPS，NVFP4 训练性能达到 35 PFLOPS。整个 NVL72 机架可提供 20.7 TB HBM4 显存。NVLink 6 则为每颗 GPU 提供 3.6 TB/s 的全互联带宽，使 72 颗 GPU 可以在非阻塞互联结构中作为一个统一的大型加速器运行。 这种设计尤其适合预训练、后训练、测试时扩展、智能体扩展、强化学习、长上下文推理以及通信密集型的混合专家模型（MoE）。在这些场景中，性能瓶颈往往不只来自计算本身，还来自 All-Reduce、专家分发以及跨 GPU 数据同步。GPU 数量不断增加后，如果互联带宽和通信效率跟不上，更多芯片并不会带来线性的性能提升，反而会让大量 GPU 陷入等待。 按照英伟达公布的数据，与 NVIDIA Blackwell 平台相比，Vera Rubin NVL72 仅需四分之一数量的 GPU 即可训练大型混合专家模型，每瓦特推理吞吐量最高可提升 10 倍的同时，每 Token 成本仅为原平台的十分之一。 可以看出，英伟达开始更加注重提高整套系统持续生产有效 Token 的效率。 <h3 data-type="heading" data-id="heading1">CPU：重新成为智能体时代的关键瓶颈</h3> 在传统大模型训练中，CPU 通常被视为 GPU 的主机处理器，主要负责数据加载和任务调度。但在强化学习和智能体场景中，CPU 的角色正在明显扩大。 模型可以在 GPU 上快速生成代码、操作计划或候选答案，随后却需要 CPU 完成编译、执行、浏览器调用、数据库查询、环境模拟和结果验证。如果 CPU 环节过慢，GPU 只能等待评估结果，昂贵的加速器便会出现空转。 Vera CPU 正是针对这类负载设计。它采用 88 个英伟达自研 Olympus Arm 核心，通过空间多线程提供 176 个硬件线程。与传统依靠时间片共享执行资源的同步多线程不同，空间多线程可以在核心内部对资源进行物理划分，目的是在提高线程密度的同时，保持更稳定的单线程性能和尾时延。第二代可扩展一致性互联则将核心、共享三级缓存和内存系统连接起来，在高并发负载下维持相对一致的数据访问性能。 数据显示，Vera CPU 支持最高 1.5 TB LPDDR5X 内存和 1.2 TB/s 内存带宽，并通过 1.8 TB/s NVLink-C2C 与 Rubin GPU 建立一致性连接，使 CPU 内存和 GPU HBM 能够形成更紧密的数据池。作为一款全新类别的处理器，它的任务完成速度比传统 x86 CPU 快 1.8 倍；Vera CPU 的智能体沙盒性能最高比对比平台快 50%；一个液冷 Vera CPU 机架最多容纳 256 颗 CPU，可同时承载超过 2.25 万个强化学习或智能体沙盒环境。 这反映出 AI 系统的一项结构性变化：GPU 继续负责高度并行的模型计算，CPU 则承担越来越多控制密集型、分支密集型和串行任务。随着智能体执行链条不断拉长，未来衡量 CPU 价值的标准将不再只是通用服务器跑分，还包括它能否缩短智能体循环、减少 GPU 等待，并提高整个 AI 工厂的 Token 产出等。 <h3 data-type="heading" data-id="heading2">引入 Groq 3 LPU，拆分推理流水线</h3> 推理并不是单一工作负载。一次大模型请求通常分为预填充（prefill）和解码（decode）两个阶段。预填充需要处理完整输入、执行高并行矩阵计算并建立 KV Cache，计算密度高，更适合拥有大容量 HBM 和高峰值算力的 GPU；解码阶段则逐个生成 Token，单次计算规模较小，对内存访问、调度确定性和尾时延更敏感。 单独使用 GPU，可以通过扩大批处理获得很高的总吞吐量，但当并发请求形态不一致、批次较小或用户追求更快的单用户生成速度时，GPU 利用率与交互时延之间会出现矛盾。为了扩大这一性能边界，英伟达将 Groq 3 LPU 纳入 Vera Rubin 平台，并推出 NVIDIA Groq 3 LPX 机架，与 NVL72 组成异构推理系统。 在这种架构中，Rubin GPU 负责预填充、长上下文处理和解码阶段的注意力计算，LPU 负责对时延敏感的前馈网络、MoE 专家和部分逐点运算。两类处理器在每轮 Token 生成中交换中间激活数据，英伟达将其称为注意力—前馈网络解耦（Attention–FFN Disaggregation，AFD）。NVIDIA Dynamo 负责识别请求类型、调度预填充和解码任务，并决定哪些计算在 GPU 或 LPU 上执行。 数据显示，一个 LPX 机架包含 256 颗 Groq 3 LPU，提供 128 GB 片上 SRAM、40 PB/s SRAM 总带宽、640 TB/s 纵向扩展带宽和 315 PFLOPS FP8 推理性能。LPU 并不以最大 HBM 容量和峰值 FLOPS 为主要目标，而是通过编译器调度、显式数据移动和确定性执行，降低逐 Token 生成时的抖动。 英伟达表示，Vera Rubin NVL72 与 LPX 组合后，在万亿参数模型上，每兆瓦推理吞吐量最高可达到 Blackwell 平台的 35 倍，并带来最高 10 倍的收入机会。 <h3 data-type="heading" data-id="heading3">日益重要的“网络武器”</h3> 一座完整的 AI 工厂通常需要多类网络同时运行。 网络已经成为英伟达增长最快、也最具战略意义的业务之一。IDC 数据显示，2026 年第一季度，英伟达首次成为全球数据中心以太网交换机市场的营收第一名，季度收入达到 21 亿美元，占数据中心以太网交换机市场的 21.5%，同比增长 192.7%。这一市场此前长期由 Cisco、Arista 及博通生态厂商主导，英伟达凭借 Spectrum-X 进入首位，反映出 AI 计算和网络采购正在加速绑定。 传统云计算网络主要服务于相对独立的服务器任务，一台服务器出现短暂拥塞，通常不会让其他数千台服务器同时停顿。AI 训练则依赖大规模同步：如果数千颗 GPU 参与一次 All-Reduce，其中少数节点因网络抖动延迟，其他 GPU 也可能进入等待。因此，平均带宽并不足以衡量 AI 网络，尾时延、有效带宽、丢包率和性能可预测性同样关键。 Spectrum-X 并不是在传统交换机上简单增加几项功能，而是采用端到端协同设计，让交换机、网卡、GPU、通信库和应用软件从设计阶段就围绕 AI 工作负载进行配合。 首先是交换机与网卡之间的协同。在传统网络中，交换机厂商和网卡厂商往往分别优化自己的产品：交换机关注端口转发、缓存、路由表和交换时延，网卡则关注 PCIe 接口、传输队列、卸载能力和主机连接。进入 AI 工厂后，仅靠单个组件优化已经无法保证端到端性能。 其次是网络与计算设备之间的协同。GPU、CPU 和网卡之间需要通过 PCIe、NVLink-C2C 等接口交换数据。计算节点内部的数据路径、直接内存访问方式和网络数据通道，会直接决定跨节点通信效率。网络适配器需要理解 GPU 内存访问模式，并尽可能减少数据在 CPU 内存中的重复拷贝，使 GPU 可以直接发起和接收网络通信。 然后是网络硬件与通信软件之间的协同。AI 训练广泛使用 NVIDIA 集合通信库（NCCL）完成 All-Reduce、All-Gather、Reduce-Scatter 和 All-to-All 等操作。网络底层即使具备自适应路由、拥塞感知和在网计算能力，如果通信库不能识别和调用这些能力，应用仍然无法获得性能收益。 通过这种多层协同，Spectrum-X 在自适应负载均衡、低尾时延、噪声隔离、拥塞控制和性能可预测性方面形成系统级优势。按照英伟达的测试口径，Spectrum-X 相较通用以太网可将部分 AI 工作负载的网络性能提高 1.6 倍。 而引入 CPO 的 Spectrum-X Ethernet Photonics，目标并不只是降低交换机自身的电费，而是让 AI 工厂在固定功率预算下连接更多 GPU。英伟达公布的数据显示，该平台的光互联功率效率最高可提升 5 倍，持续运行时间可提升 5 倍，系统韧性最高提升 10 倍。 对于正在从万卡向十万卡、百万卡扩展的 AI 工厂而言，网络功耗会直接挤占可用于计算的电力。CPO 的战略价值在于，在数据中心总功率不变的情况下，把更多电力留给 GPU 和其他计算设备，延缓网络功耗成为系统扩张的天花板。 <h3 data-type="heading" data-id="heading4">KV Cache 升级为独立基础设施</h3> 长上下文和多轮智能体还在改变数据中心的存储体系。 Transformer 模型会把历史上下文编码为 KV Cache，避免每生成一个新 Token 都重新计算此前内容。上下文长度和并发会话数量增加后，KV Cache 规模会线性增长，并在不同推理节点、会话和智能体之间反复使用。 现有系统通常形成 G1 至 G4 的存储层级：G1 是 GPU HBM，速度最快但容量稀缺；G2 是 CPU 系统内存；G3 是服务器本地 SSD；G4 则是远端共享文件或对象存储。问题在于，企业存储主要围绕持久性、复制、元数据和一致性设计，而 KV Cache 具有临时、可推导和可重新计算的特点。把大量 KV Cache 直接放入传统存储，不仅会增加协议开销和访问时延，还会消耗不必要的电力。 为此，英伟达通过 BlueField-4 STX 和 CMX 上下文内存存储平台，在本地 SSD 与传统共享存储之间加入了 G3.5 存储层。它采用以太网连接的闪存，为一个 GPU POD 提供 PB 级共享容量，专门保存对时延敏感、可能被重复使用的 KV Cache。系统可以在解码开始前，把相关缓存提前送回 CPU 内存或 GPU HBM，减少重复预填充和 GPU 等待。 BlueField-4 承担 KV 数据通路、NVMe-oF 协议、安全和校验卸载；DOCA Memos 负责 KV 通信和存储服务；Dynamo 与 NIXL 管理缓存分层、预取和节点间迁移；Spectrum-X 则提供低时延、低抖动的 RDMA 网络。英伟达称，CMX 在长上下文和智能体推理中可带来最高 5 倍持续 Token 吞吐量，并比传统存储方案提高最高 5 倍能效。 这一设计的意义在于，KV Cache 正在成为与模型权重同样需要单独规划的基础设施资源。未来大模型服务的性能，不仅取决于 GPU 能否快速计算，还取决于历史上下文能否在正确时间、以足够低的成本被送到正确的处理器。 <h3 data-type="heading" data-id="heading5">结束语</h3> 从 Vera Rubin NVL72、Vera CPU、Groq 3 LPX，到 Spectrum-X、CPO、BlueField-4 STX 和 CMX，英伟达正在重新划分 AI 基础设施的职责：Rubin GPU 负责高密度模型计算，Vera CPU 负责沙盒、工具调用和结果验证，Groq 3 LPU 负责低时延 Token 生成，BlueField-4 负责网络与存储卸载，CMX 保存和调度上下文数据，NVLink 与 Spectrum-X 则分别连接机架内部和机架之间的计算资源。 这套架构揭示了下一阶段 AI 基础设施的核心：CPU、网络、存储或软件环节，都可能成为限制整条 Token 生产线的瓶颈。英伟达也在借 Vera Rubin 重构 AI 工厂的评价标准，来交付更稳定、更高效地转化为可交付的 Token。

🔗 查看原文 ↗

← 返回资讯列表