ARCHITECTURE / 2015—2026
AI 基础设施研究文库
English
← 公司目录下载 PDF可编辑正文

NVIDIA AI 基础设施架构演进

2015-2026 | 2026-09-28

01 执行摘要

理解 NVIDIA 过去十余年的演进,关键是观察架构设计单元的变化:从 PCIe 加速卡,到通过 NVLink 连接的服务器,再到具有缓存一致性的 CPU-GPU 模块,最终扩展到机架级计算与网络平台。Tensor Core 算术单元只是其中一环。内存容量、数据搬移、同步、网络拥塞、供电和软件调度,日益决定实际系统能够利用多少标称算力。

产品史中有五项关键变化。Pascal 将 HBM 和 GPU 间高速互联确立为数据中心 GPU 的核心。Volta 建立了可编程矩阵加速路径。Ampere 扩展数值格式,并引入实用的多实例分区。Hopper 围绕异步张量计算和数据搬移重新组织执行,Grace 则提供高带宽且具有缓存一致性的 CPU 内存层。Blackwell 跨越光刻掩模尺寸限制,把主要的纵向扩展域推进到机架。Rubin 延续这一系统路线,引入新的 CPU 核心、HBM4、更快互联,并进一步区分 GPU 计算、基础设施处理与低延迟推理。

本报告覆盖 2015 年至 2026 年 9 月 28 日,按产品代际而非会议时间编排。Hot Chips 提供高层架构信息;ISSCC 提供部分实现细节;ISCA、MICRO、HPCA 和 ASPLOS 提供研究机制及其背景。厂商规格、调优指南与合作伙伴商用公告,将这些披露与商业产品连接起来。研究提案不被视为已经应用于产品的证据。会议索引筛选最有价值的披露,并非穷尽 NVIDIA 参与的全部论文与活动。

主要架构转折

时期 代表产品 架构变化 系统意义
2015-2016 M40 → P100 HBM2;NVLink 1 减少依赖主机中转的 PCIe 数据搬移
2017-2019 V100 / DGX-2 Tensor Core;NVSwitch 矩阵加速与交换式 GPU 域结合
2020-2021 A100 BF16/TF32/FP64 Tensor Core;MIG 同一架构覆盖 AI、HPC 和隔离实例
2022-2024 H100 / H200 / GH200 FP8;TMA;线程块集群;一致性 C2C 隐藏数据搬移开销并扩展内存层次
2024-2025 B200 / B300 / GB200 / GB300 双计算裸片;FP4;NVL72 封装与机架成为协同设计单元
2026 Vera Rubin / BlueField-4 / LPX HBM4;Olympus;NVLink 6;推理专用化 计算、互联、存储与服务调度协同设计

可用性必须落实到具体产品。量产公告、OEM 出货、云服务正式商用,以及 MLPerf 预览提交,是不同里程碑。Blackwell 在 2025 年已有直接的云服务正式商用证据。Rubin 已有量产披露和 2026 年 9 月预览结果,但这些证据本身不能证明广泛的云端正式商用。因此,报告将已公布能力与部署里程碑分别记录,并把路线图产品与已出货产品比较分开。

02 规格口径与比较方法

除明确标为实测结果外,算力均为理论峰值;一次乘加计为两次运算。稠密与结构化稀疏吞吐量分开记录,不能将稀疏宣传值当作稠密能力。FP16 不等于 BF16,INT8 TOPS 不等于浮点 TFLOPS,模拟 FP64 也不等于原生 FP64。接口带宽采用十进制 GB/s 和 TB/s。仅当来源明确给出对称的双向聚合速率时,才除以二得到单方向值。交换容量、端点注入带宽、二分带宽与所有链路带宽之和是不同指标。

SKU 身份与架构身份同样重要。PCIe 与 SXM GPU 的启用 SM 数量、频率、HBM 速度、功耗和 NVLink 支持可能不同。不能把 B200 HGX 规格直接套用到 GB200。Blackwell Ultra 的稠密与稀疏 FP4 模式并不存在通用的 2:1 比例。HGX 页面中,B200 与 B300 的稀疏标称值相同,但稠密 FP4 不同。同样,Rubin 的芯片峰值与受功率管理约束的 NVL72 配置具有不同 HBM 和 NVLink 带宽。报告保留各自的配置标签,而非一律采用较大数字。

n/d 表示已审阅的一手资料未能在要求的产品范围内确定该值,并不代表零;n/a 表示不适用。“历史已商用”表示曾有商业部署,不意味着所有旧型号目前仍可订购。GA 栏在证据明确时采用首次商用年份;明确标注的发布或预览时间不是正式商用日期。分面表格保留完整的产品族字段。文末按章节汇总来源编号,避免打断技术叙述。

03 GPU 规格总览

数据中心 GPU 代际:代表性配置

代际 代号/架构 商用/里程碑 状态 工艺 裸片与封装 计算单元 稠密 BF16 稠密 FP8 稠密 FP6/FP4 FP64 向量/矩阵 HBM:代际;堆栈;GB;TB/s 末级缓存 纵向扩展:链路;单向 GB/s;域 主机连接 板级功耗与散热 形态
M40 GM200 / Maxwell 2015 历史已商用 28 nm 单裸片;GDDR 板卡 24 SM / 3072 CUDA n/a n/a n/a n/d / n/a n/a;GDDR5 24 GB;0.288 TB/s 3 MB n/a PCIe 3 x16 250 W;风冷 PCIe
P100 SXM2 GP100 / Pascal 2016 历史已商用 16 nm 单裸片+HBM 中介层 56 SM / 3584 CUDA n/a n/a n/a 5.3 TF / n/a HBM2; 4; 16; 0.732 4 MB 4;80;服务器拓扑 PCIe 3 300 W;依平台 SXM2
V100 SXM2 GV100 / Volta 2017 历史已商用 12 nm 单裸片+HBM 中介层 80 SM / 640 TC n/a n/a n/a 7.8 TF / n/a HBM2; 4; 16/32; 0.900 6 MB 6;150;NVSwitch 可连接 16 个 GPU PCIe 3 300 W;依平台 SXM2
A100 SXM 80 GB GA100 / Ampere 2020 历史已商用 7 nm 单裸片+HBM 中介层 108 SM / 432 TC 312 TF n/a n/a 9.7 / 19.5 TF HBM2e; 5 启用; 80; 2.039 40 MB 12;300;8 GPU HGX PCIe 4 400 W;依平台 SXM4
H100 SXM GH100 / Hopper 2022 已商用 4N 单裸片+HBM 中介层 132 SM / 528 TC 989 TF 1.979 PF n/a 34 / 67 TF HBM3; 5 启用; 80; 3.35 50 MB 18;450;8 GPU HGX PCIe 5 700 W;依平台 SXM5
H200 SXM GH100 / Hopper 2024 已商用 4N Hopper+HBM3e 132 SM / 528 TC 989 TF 1.979 PF n/a 34 / 67 TF HBM3e; n/d; 141; 4.8 50 MB 18;450;8 GPU HGX PCIe 5 700 W;依平台 SXM5
B200 / HGX basis Blackwell 2024-2025 已商用 4NP 双计算裸片;NV-HBI;HBM 依 SKU 2.25 PF 4.5 PF 4.5 / 9 PF 公布 FP64 37 TF;向量/矩阵拆分 n/d HBM3e; 8; 180; 8 GB200 参考值 126 MB;依 SKU 18;900;8 GPU HGX PCIe 6 模块最高 1000 W;散热依系统 SXM
B300 / HGX basis Blackwell Ultra 2025 已商用 4NP 双计算裸片;NV-HBI;HBM 最高 160 SM/640 TC;依 SKU 2.25 PF 4.5 PF 4.5 / 13.5 PF 公布 FP64 1.25 TF;向量/矩阵拆分 n/d HBM3e;8;最高 288;8 n/d 18;900;8 GPU HGX PCIe 6 统一模块口径 n/d SXM
Rubin / chip peak Rubin 2026 预览;GA n/d 量产/预览 n/d 双计算裸片;NV-HBI;HBM4 224 SM / 896 TC 4 PF 训练 17.5 PF 训练 17.5/35 PF 原生 33 TF;模拟 DGEMM 200 TF HBM4; 8; 288; 22 n/d n/d;峰值 1800;NVL72 PCIe 6 依配置;液冷 NVL / HGX

总览表选择代表性配置,而不混合所有变体。P100 和 V100 可以加速 FP16,但没有原生 BF16 Tensor Core。A100 最初的 40 GB 版本具有 1.555 TB/s HBM 带宽;表中使用后续 80 GB SXM 版本。B200/B300 算力由 HGX 八 GPU 聚合值归一化得到。DGX 指南列出的 B300 单 GPU 标称内存最高为 288 GB,而 HGX 页面列出八 GPU 平台共 2.1 TB;报告不将两者悄然视为相同值。容量规划前应核对具体产品的内存统计口径。Rubin 行为初步的芯片峰值参考,不代表机架能同时持续达到所有峰值。

04 Maxwell 与 Pascal:形成加速器系统

Tesla M40 是理解 2015 年起点的合适参照:它将源于图形处理的 Maxwell GPU 用于数据中心深度学习,采用 GDDR5、PCIe 主机连接和常规 CUDA 算术。其价值在于并行 FP32 吞吐量与成熟编程平台,而不是专用张量硬件。因此,如果产品史从 Tensor Core 才开始,就会遗漏一次重要转变:在优化矩阵指令之前,NVIDIA 首先需要改善处理器周边的带宽与拓扑。

P100 的 GP100 裸片结合了面向计算的 SM、更强的 FP64 能力、打包 FP16 运算、HBM2 与第一代 NVLink。四个 HBM 堆栈将内存搬到先进封装上,在获得带宽的同时引入封装复杂性、堆栈容量限制和热耦合。四条 NVLink 的聚合单方向带宽为 80 GB/s。这是对等互联预算,不是额外的 HBM 带宽。主机仍通过 PCIe 连接,NVLink 的实际价值取决于服务器将哪些 GPU 对直接连接。

Pascal 也说明,仅凭架构名称无法比较产品。P4 和 P40 采用 GDDR 内存,侧重包括 INT8 在内的高效推理,而非复制 GP100 的 HBM 与 HPC 配比。P4 面向低矮、低功耗部署,P40 则是更大规模的推理卡,它们是同一市场图谱中的不同分支。因此,系统架构师应分别追踪训练/HPC 与推理/图形衍生线,而不应将所有 Pascal 产品看成缩小版 P100。Hot Chips 2016 解释 P100/NVLink 的系统方向,产品资料则区分其商业分支。

05 Volta:矩阵执行与交换式纵向扩展

Volta 的标志性变化是 Tensor Core:通过 CUDA 编程抽象和库向软件开放的矩阵乘加数据通路。V100 的 FP16 张量峰值并不能替代常规 FP32 或 FP64 指标;它对应特定输入格式、累加行为和矩阵执行路径。算法必须组织合适的矩阵分块并持续供数。SM 还分离了整数与浮点执行资源,并引入独立线程调度,从而改变了依赖 warp 同步执行的代码能够安全工作的条件。

第二代 NVLink 将 V100 的聚合单方向对等带宽提高到 150 GB/s。随后,NVSwitch 将服务器从若干特定直连链路组成的集合,变为交换式 GPU 网络,16 GPU 的 DGX-2 域是典型例子。其收益不只是链路速度:更规则的拓扑更利于全互联通信和集合通信调度。但它不会消除集合算法开销、同步或内存放置决策。即使可以寻址远端数据,HBM 在物理上仍属于各自 GPU。

Turing 的 T4 是并行发展的推理分支。它将 Tensor Core、低精度推理支持、视频能力与 70 W PCIe 形态结合,采用 GDDR6 而非 HBM。这一组合利于广泛的服务器部署与推理密度,而不是构建大型 NVLink 训练域。类似区分延续到 L4、L40S 和 RTX PRO Blackwell:共享数值计算或着色器技术血缘,并不意味着内存带宽、FP64 能力或纵向扩展连接相同。

06 Ampere:数值格式、隔离与实现

A100 将张量路径扩展到更广泛的负载。BF16 为训练保留较大的指数范围;TF32 为面向 FP32 的负载提供尾数精度降低的张量执行选项;FP64 Tensor Core 则将矩阵加速延伸至 HPC。结构化稀疏只有在满足规定稀疏模式和软件路径时才能提升吞吐量。这是算法与硬件之间的约定,并非芯片在所有情况下都翻倍。40 MB L2 缓存以及软件管理的数据搬移,有助于在再次访问 HBM 前复用操作数。

Multi-Instance GPU(MIG,多实例 GPU)可将 A100 划分为最多七个硬件隔离实例,为各实例分配计算与内存系统资源。这与仅在时间上共享进程上下文有本质区别:较小服务可以只占用昂贵加速器的一部分,同时获得更强的性能隔离。代价是碎片化:当请求与可用分区不匹配时,固定配置和内存容量可能导致资源闲置。因此,集群放置、模型规模选择与调度仍是必需的软件配套。

ISSCC 2021 的 A100 披露提供了一条少见的、从产品架构通向实现的直接证据链:7 nm 工艺、约 540 亿晶体管、826 mm² 的数据中心 GPU。结合 Ampere 白皮书和 Hot Chips 资料,可以将算术单元、分区与 I/O 对应到一颗极大的单片裸片。后续 80 GB HBM2e 版本在未改变 SM 代际的情况下,同时提高容量与带宽。这体现了此后反复出现的模式:即使标称算力变化很小,内存升级也可能明显改善模型容纳能力与利用率。

07 Hopper 与 H200:异步计算与内存

Hopper 重点降低维持张量算术单元繁忙所需的开销。Tensor Memory Accelerator(TMA,张量内存加速器)以更少线程参与完成多维数据块搬移。Warp-group 矩阵指令协同的执行组比先前 warp 级路径更大。线程块集群与分布式共享内存,使协作线程块可以在规定的局部域内共享数据并同步。这些机制共同支持流水化内核:一个阶段准备数据,另一个阶段执行计算。但资源约束不会消失;寄存器、共享内存、屏障与集群占用率仍限制有效流水深度。

Transformer Engine 将 FP8 硬件与软件管理的缩放、精度选择结合。E4M3 与 E5M2 对应不同数值需求,因此,没有格式与精度条件的吞吐量是不完整的。Hopper 还为动态规划增加 DPX 指令,并强化机密计算支持。这些能力扩展了 GPU 的负载和部署范围,不能将 Hopper 仅描述为 LLM 芯片。H100 的第四代 NVLink 提供 900 GB/s 双向聚合带宽,即单方向 450 GB/s;八 GPU 的 HGX 互联仍是独立于外部网络的一层资源。

H200 保留 Hopper 计算结构,但重新平衡内存:141 GB HBM3e、4.8 TB/s,而 H100 SXM 为 80 GB、3.35 TB/s。容量约增至 1.76 倍,带宽约增至 1.43 倍,所选稠密 BF16 峰值不变。这对于受权重或 KV 缓存流量限制、而非受算术限制的推理尤为有价值。它还可能减少仅为容纳模型所需的设备数,从而降低通信。GH200 是另一种产品构造:Grace CPU 与 Hopper GPU 通过一致性互联相连,并具有自己的 HBM 配置。不能将 H200 的 141 GB 套用到所有 GH200。

08 Blackwell 与 Ultra:跨越裸片与机架边界

Blackwell 通过 10 TB/s 的 NV-HBI 连接两颗大型计算裸片,并向 CUDA 呈现为一个 GPU。这与通过 NVLink 连接两个独立 GPU 有本质区别。封装内互联必须支撑单个处理器的内部行为,包括计算与分布式内存层次之间的交互。该设计约有 2080 亿晶体管,采用 TSMC 4NP。封装技术使更大的逻辑处理器成为可能,但裸片间通信并非没有成本:局部性、缓冲、功耗与物理布线仍是架构代价。

第五代 Tensor Core 通过细粒度缩放,将低精度执行扩展到 FP4 和 FP6。NVFP4 将分块缩放与张量级缩放结合,改善四位数值的可用数值范围。Tensor Memory 为张量执行提供专用存储,缓解常规寄存器路径的压力;两个 SM 的协同改变矩阵工作的分配方式。这些特性需要编译器、内核与量化软件配合。是否采用 FP4,取决于模型质量与延迟目标,而不只是硬件支持多少位。

GB200 将 Grace 与两颗 Blackwell GPU 组合,NVL72 则将 72 个 GPU 封装连接为机架级 NVLink 域。GB300 用 Blackwell Ultra 升级这一构造。机架并非九台互不相关的八 GPU 服务器:通信拓扑、散热、维护、供电与调度围绕更大的域协同设计。另一方面,NVL72 也不等于具有统一延迟的 72 GPU 内存池。软件仍需决定张量、流水线、专家与数据并行的放置,跨机架通信则进入另一种互联与拥塞环境。

Ultra 提高内存容量和稠密 FP4 能力,但并不是每条数据通路都按同一比例提升。HGX 对比中,B300 的原生 FP64 吞吐量显著低于 B200。这对混合 AI/HPC 采购,以及不能用模拟计算替代原生 FP64 的数值算法非常重要。云端部署也体现出配置差异:AWS P6e GB200 将 GPU 纵向扩展域与 EFA 结合,其他部署则使用 NVIDIA 网络。因此,GPU 厂商的参考平台是重要基线,而不是所有超大规模云部署的通用描述。

09 Rubin:平台代际与配置约束

Rubin 将新 GPU 代际与 Vera、NVLink 6、ConnectX-9、BlueField-4 及 Spectrum 网络结合。GPU 转向 HBM4,并扩大张量计算预算;Vera 则改变主机 CPU 微架构,而非仅提高 Grace 频率。这使均衡供给更加重要:更多张量计算需要更多操作数带宽、集合通信带宽和调度能力。平台还明确支持基础设施侧上下文存储及互补的低延迟推理,而非要求所有任务占用同一种 GPU 资源。

已公布的两种 Rubin 配置必须分开。面向芯片的 HGX 规格列出 288 GB HBM4、22 TB/s 带宽和 3.6 TB/s 双向聚合 NVLink。NVL72 页面在采用 DSX/MaxLPS 的大规模配置下,列出单 GPU 的 HBM 带宽为 19.2 TB/s、双向 NVLink 为 3 TB/s;其单 GPU 双向横向扩展带宽为 0.45 TB/s。这些是不同工作点与系统范围的披露,不能互换为一颗无约束芯片的描述。功率管理可以牺牲瞬时峰值,换取整个设施更高的有效吞吐量。

算力表同样需要标明执行模式。已公布的 Rubin 训练指标包括稠密 FP4 35 PFLOPS、稠密 FP8/FP6 17.5 PFLOPS;50 PFLOPS 的 NVFP4 推理标称值采用稀疏口径。不能将每个宣传值一律除以二,得到所谓统一稠密值。原生 FP64 的 33 TFLOPS 与模拟 FP64 DGEMM 的 200 TFLOPS 是不同机制。HPC 应用在把模拟速率纳入性能模型前,必须验证精度、问题条件性和库行为。

Hot Chips 2026 及相关技术披露深化了公开架构记录。2026 年 9 月的 MLPerf 结果属于预览提交,其中包括合作伙伴提交;它们证明系统已经运行,却不代表统一的正式商用日期。在本报告审阅的证据中,Rubin CPX 仍是独立发布的长上下文分支:2025 年最初披露采用 GDDR7,并计划在 2026 年末推出;报告不会依据后续材料未提及它,就推断最终配置或取消。Rubin Ultra 与 Feynman 属于路线图,不进入已商用规格比较。

10 Grace 与 Vera CPU:主机进入协同架构

CPU 代际:除注明外按单颗 CPU

代际 代号 商用/里程碑 状态 核心微架构 最大核心/线程 各裸片工艺 芯粒与封装 每核 L2 L3 总量/共享域 内存:类型/通道/速率/GB/s 插槽与插槽互联 PCIe/CXL 最大 TDP 矩阵/向量 ISA
Grace Grace 2023 已商用 Arm Neoverse V2 72 / 72 4N CPU+LPDDR;双 CPU 或 CPU-GPU C2C 1 MB 114 MB / chip LPDDR5X;最高 480 GB;512 GB/s;通道/速率依 SKU 1 或 2;C2C 双向 900 GB/s 64 lanes PCIe 5; CXL n/d 双 CPU Superchip 含内存 500 W;单芯片 n/d Armv9.0-A; 4 × 128-bit SVE2
Vera Olympus 2026 量产/预览 GA n/d NVIDIA Olympus 88 / 176 n/d CPU+SOCAMM2;C2C 平台 2 MB 164 MB / chip LPDDR5X SOCAMM2;最高 1.5 TB;1200 GB/s;通道/速率 n/d 1 或 2;C2C 双向 1800 GB/s PCIe 6 / CXL 3.1; lane count n/d n/d Armv9.2; 6 × 128-bit SVE2; FP8

Grace 的价值在于 CPU 内存系统及其与加速器的连接。72 个 Neoverse V2 核心共享网格互联和较大的系统缓存;LPDDR5X 以不同于传统 DIMM 的功耗与维护取舍提供高带宽。双 CPU Grace Superchip 将核心和内存资源翻倍,GH200 则将 Grace 与 Hopper 组合。一致性 C2C 支持细粒度 CPU-GPU 共享,以及对更大内存容量的访问,无需把每次传输都处理成显式的大块拷贝。但对 GPU 而言,远端 CPU 内存仍慢于本地 HBM,因此一致性简化了编程,却没有消除局部性。

ISSCC 2023 的 NVLink-C2C 披露为这一连接提供了具体实现证据:每引脚 40 Gb/s 的单端、跨封装一致性接口,包括 5 nm PHY 以及时钟与偏斜处理技术。十条链路支撑所披露的 900 GB/s 双向接口。ISSCC 2018 的地参考信号研究与其电路技术演进相关,但其每引脚 25 Gb/s 的测试载体并不是 Grace 的量产接口。会议综合的价值正在于此:Hot Chips 解释内存系统目的,ISSCC 则揭示如何实现电气要求很高的封装边界。

Vera 用 NVIDIA 自研 Olympus 取代授权的 Neoverse 核心。88 个核心提供 176 个空间线程;已披露机制包括十宽前端、先进预测、内存重命名、值预测及面向图的预取。该架构面向无法简单转换为大型矩阵运算的主机侧工作,例如调度、不规则访问、图遍历和智能体执行。公开资料未确定所有队列规模或执行延迟,因此报告不从营销对比中反推这些数值。

Vera 的内存变化同样重要:采用可更换的 SOCAMM2 LPDDR5X,最高 1.5 TB、1.2 TB/s,扩大私有与共享缓存,并将 C2C 双向速率提升到 Grace 的两倍。按峰值规格计算,每核内存带宽从约 7.1 提高到 13.6 GB/s。空间线程并未将内存系统翻倍,因此每线程带宽是另一种比例。CXL 3.1 与 Arm 机密计算机制扩展了部署选择。整体轨迹是从高带宽的加速器伴随处理器,走向作为 AI 服务系统核心组成部分而设计的 CPU。

11 推理、工作站与边缘分支

相关产品分支

产品 时期 内存 部署区别
P4 / P40 2016 GDDR5 Pascal INT8 推理;不等同于 GP100 的 HBM/NVLink
T4 2018 16 GB GDDR6; 320 GB/s 70 W PCIe;推理与视频;无 NVLink
L4 2023 24 GB GDDR6; 300 GB/s 72 W Ada 推理/视频;无 NVLink
L40S 2023 48 GB GDDR6; 864 GB/s 350 W;图形与 AI;无 NVLink
RTX PRO 6000 Blackwell Server Edition 2025 96 GB GDDR7; 1597 GB/s 最高 600 W;图形、AI 与分区服务
GB10 / DGX Spark 2025-2026 128 GB LPDDR5X; 273 GB/s 20 个 Arm 核心;一致性共享内存;桌面 AI;SoC TDP 140 W
Jetson AGX Thor 2025-2026 边缘配置;不等同于服务器 HBM 源于 Blackwell 的边缘/机器人分支;基准范围不同

这些分支与数据中心加速器共享编程工具和部分架构机制,但优化的约束不同。采用 GDDR 的板卡可以适配既有风冷服务器,同时承载图形、媒体和推理。采用 HBM 的 GPU 则侧重带宽与大规模计算互联。GB10 使用具有缓存一致性的统一 LPDDR 内存系统:128 GB 容量有利于本地模型开发,但 273 GB/s 远低于旗舰 HBM GPU 带宽。其 1 PFLOPS FP4 标称值不应被理解为稠密训练保证值。240 W 电源额定功率也不等于 140 W SoC TDP。

12 NVLink、NVSwitch 与一致性 C2C

互联代际

名称/版本 年份 通道速率 每链路通道数 每链路单向 GB/s 每设备链路数 拓扑 最大/参考域 一致性/内存语义
NVLink 1 2016 20 Gb/s 8 20 4 对等直连 依服务器布线 GPU 对等访问;非统一内存
NVLink 2 2017-2018 25 Gb/s 8 25 6 直连+NVSwitch 16 GPUs (DGX-2) 对等内存;CPU 一致性依平台
NVLink 3 2020 50 Gb/s 4 25 12 NVSwitch 8 GPUs (HGX) GPU 对等内存
NVLink 4 2022 100 Gb/s 2 25 18 NVSwitch HGX 8 个;外部交换可扩展 GPU 对等内存/集合通信
NVLink 5 2024-2025 n/d n/d 50 18 NVSwitch 72 GPUs (NVL72) 机架对等域;非统一延迟
NVLink 6 2026 n/d n/d n/d n/d NVSwitch 72 GPUs (NVL72) 单 GPU 双向峰值 3600 GB/s;配置值 3000
NVLink-C2C / Grace 2023 40 Gb/s/pin n/d n/d 10 CPU-CPU/CPU-GPU 一致性模块 双向 900 GB/s;一致性访问
NVLink-C2C / Vera 2026 n/d n/d n/d n/d CPU-GPU/CPU-CPU 一致性平台 双向 1800 GB/s

NVLink Fusion 向定制 CPU 和加速器开放部分 NVLink 系统集成路径。应将其理解为集成与生态计划,而不是所有参与芯片都实现 Grace-Hopper 相同一致性语义的证据。定制处理器仍需满足接口、交换、软件与平台要求。其系统意义在于,即使某个计算组件由其他厂商提供,纵向扩展网络仍可能以 NVIDIA 为中心。这不意味着以太网或 InfiniBand 消失;它们仍承担横向扩展与基础设施任务。

13 ConnectX 与 BlueField:端点与基础设施

NVIDIA 在 2020 年完成对 Mellanox 的收购,将成熟的网络端点、交换与软件产品纳入计算平台。应区分三种角色:ConnectX 网卡是带有传输与卸载引擎的高效网络端点;SuperNIC 是面向 GPU 后端互联的 AI 网络产品角色,并不自动意味着可替代通用主机 CPU;BlueField DPU 则加入可独立管理的 CPU 与基础设施处理能力,承担网络、存储和安全任务。NVLink 仍是另一层纵向扩展网络。混淆这些角色会掩盖信任边界和带宽瓶颈。

NIC 与 DPU 演进

产品 商用/里程碑 状态 类别 端口×速率 SerDes 主机接口 可编程引擎 嵌入式 CPU 板载内存 传输/RDMA 拥塞控制 主要卸载 功耗
ConnectX-4 Lx 2015-2016 时期 历史已商用 NIC 25/50 GbE 变体 25G NRZ PCIe 3 x8/x16 eSwitch/流量引导 n/a 网卡缓冲;容量 n/d Ethernet / RoCE ECN / PFC 覆盖网络、虚拟化、RDMA 依 SKU
ConnectX-5 / Ex 2017 时期 历史已商用 NIC 最高 2 × 100 Gb/s 25G NRZ PCIe 3 x16; Ex PCIe 4 eSwitch/流量引导 n/a n/d Ethernet / IB / RoCE ECN / PFC GPUDirect RDMA;存储;交换 依 SKU
ConnectX-6 2019 时期 历史已商用 NIC 最高 200 Gb/s 50G PAM4 PCIe 4 x16 传输/流量引导 n/a n/d Ethernet / HDR IB / RoCE ECN / PFC GPUDirect RDMA;加密依变体 依 SKU
ConnectX-7 2022 时期 已商用 NIC / SuperNIC 1 × 400 / 2 × 200 Gb/s 100G PAM4 PCIe 5 x16; Socket Direct 传输/流量引导 n/a n/d Ethernet / NDR IB / RoCE 按网络采用自适应路由/ECN GPUDirect;虚拟化;加密 依 SKU
ConnectX-8 2025 已商用平台代际 SuperNIC 800 Gb/s 级 n/d PCIe 6 + integrated switch 可编程传输/流量引导 n/a n/d Ethernet / IB / RoCE AI 自适应路由/拥塞控制 GPU/NIC PCIe 交换;GPUDirect 依 SKU
ConnectX-9 2026 量产;依配置 SuperNIC 800 Gb/s 网卡;平台单 GPU 最高 1600 Gb/s 200G 级 PCIe 6 x16 / Socket Direct x32 AI 传输/流量引导 n/a n/d Ethernet / XDR IB / RoCE Spectrum-X 多平面/自适应路由 GPUDirect;PCIe 互联;安全 依 SKU
BlueField 2020 年前;确切 GA n/d 历史已商用 DPU 最高 2 × 100 Gb/s 25G 级 最高 32 lanes PCIe 3/4 ConnectX-5 eSwitch 最高 16 Arm A72 DDR4; capacity 依 SKU Ethernet / IB / RoCE ECN / PFC NVMe-oF;交换;虚拟化 依 SKU
BlueField-2 2020-2021 代际 已商用 DPU 最高 200 Gb/s 50G 级 PCIe 4 x16 ConnectX-6 Dx + Arm 8 Arm A72 DDR4; 依 SKU Ethernet / RoCE; variants ECN / PFC DOCA;存储;加密;虚拟交换 依 SKU
BlueField-3 2023 代际 已商用 DPU / SuperNIC 最高 400 Gb/s 100G 级 最高 32 lanes PCIe 5 ConnectX-7 + DPA + Arm 最高 16 Arm A78 16/32 GB DDR5; 依 SKU Ethernet / NDR IB / RoCE Spectrum-X/自适应拥塞控制 DOCA;存储/安全;异步卸载 依 SKU
BlueField-4 2026 已披露量产 DPU 800 Gb/s 200G 级 PCIe 6 ConnectX-9 + Grace 64 Neoverse V2 LPDDR5X; 250 GB/s Ethernet / RDMA 依平台 基础设施操作系统;STX/上下文存储;安全 n/d

ConnectX 的演进同时受网络 SerDes 与主机接口影响。从 100 提升到 200、400 和 800 Gb/s,需要足够的 PCIe 带宽及合适的服务器布线。Socket Direct 可以把连接分配到两个 CPU 根端;宣传的聚合端口速率并不保证单条较旧 PCIe 链路能够持续承载。因此,ConnectX-8 集成 PCIe Gen6 交换机是一项系统特性,而不仅是更快的 MAC:它改变 GPU 到 NIC 的连接方式,在不要求所有 CPU 根端都采用最新 PCIe 代际的条件下,提供高带宽本地路径。

BlueField 从 Arm 与 ConnectX 结合的存储/网络处理器,演进为可独立管理的基础设施子系统。BlueField-3 在 Arm 控制核心与固定功能报文引擎旁加入可编程数据路径加速器。不能假设 Arm 核心通过软件以线速转发每个报文。BlueField-4 将 Grace 级 CPU 资源与 ConnectX-9 结合,面向包括 AI 上下文存储在内的基础设施服务。把 KV 缓存或上下文移出 GPU HBM 可能改善容量成本,但同时引入新的层次:存储/网络带宽和访问粒度必须与服务调度器的决策匹配。

14 Spectrum、Quantum 与光互联

交换芯片与网络演进

产品族 里程碑 公布容量 架构/部署意义
Spectrum-1 2015 代际 3.2 Tb/s 以太网交换起点
Spectrum-2 2018-2019 代际 6.4 Tb/s 50G 级通道;200GbE 端口
Spectrum-3 2020 代际 12.8 Tb/s 400GbE 代际
Spectrum-4 / Spectrum-X 2022 芯片;2023 平台 51.2 Tb/s 400/800GbE;交换机+SuperNIC+软件协同
Spectrum-6 2026 量产/采用 102.4 Tb/s ASIC 多平面 AI 以太网;Vera Rubin 生态
Spectrum-X / Quantum-X photonics 2025-2026 披露 Spectrum-X 组件最高 409.6 Tb/s;不是单颗 ASIC 共封装光学;配置与推出节奏因产品而异
Quantum-X800 / Q3450-LD 2025-2026 披露 144 × 800 Gb/s 基于 CPO 的 InfiniBand 交换机;200G SerDes;液冷
Quantum-2 2021 发布;2022 代际 64 × 400 Gb/s = 25.6 Tb/s 单向 NDR InfiniBand;自适应路由;SHARP 集合通信

Spectrum-X 是协同设计的以太网平台,而不是给交换 ASIC 加上 AI 名称。其价值来自自适应报文路由、端点拥塞响应、遥测、顺序处理支持与集合通信软件之间的配合。多平面设计将流量分散到并行网络平面,并利用端点智能避免热点。这些机制针对分布式训练和混合专家推理中常见的同步突发与全互联交换。即使拓扑在标称上无阻塞,如果拥塞控制响应过慢或租户流量相互干扰,性能仍可能较差。

Quantum 对应 InfiniBand 分支,其传输与管理模型面向紧密耦合的集群。SHARP 将部分集合归约操作移入网络,而不是在交换机内执行任意 GPU 内核。因此,比较 Quantum 与 Spectrum 必须匹配集合通信、拓扑、软件及运维模型,不能只比较端口速度。Quantum-2 展示了常见统计陷阱:64 个 400 Gb/s 端口的单方向总量为 25.6 Tb/s;51.2 Tb/s 的全双工总值,并不代表单方向交换能力翻倍。

共封装光学缩短交换芯片与光电转换之间的电气路径。在极高聚合带宽下,其系统目标是降低电气 I/O 功耗并改善传输距离,但也改变了封装、激光源、光纤连接、维修与认证要求。光子交换组件可能包含多个交换单元,不能把组件总容量归给单颗 ASIC。ISSCC 光链路研究与产品 CPO 披露属于同一技术图谱,但研究测试芯片不能证明量产光学实现与其完全相同。

15 Groq 3 LPX 与专用推理

Groq 与 NVIDIA 在 2025 年达成的是非独家推理技术许可协议,而不是 NVIDIA 收购 Groq 公司。随后,Groq 3 LPX 作为 NVIDIA 的互补推理平台出现,并在 2026 年 8 月披露量产。这改变了产品组合图谱:NVIDIA 无需拥有通用 FPGA 产品线,也可以拥有非 GPU 推理架构。正确比较对象是执行与内存组织方式,而不只是两家厂商的 TOPS 数字。

LPX 围绕编译器调度的执行和大量片上 SRAM 组织计算。披露的 LP30 LPU 约有 500 MB SRAM 和 150 TB/s 本地 SRAM 带宽;256 LPU 机架聚合为 128 GB SRAM、约 40 PB/s 本地带宽。但这些总和不是任意算子都能以 40 PB/s 访问的统一 128 GB 缓存。编译器必须在设备及其互联之间放置、流送模型状态。小而可预测的工作集能够利用低延迟本地访问;大模型仍受分布式容量与通信约束。

其架构吸引力在于异构服务。HBM GPU 提供较大容量和灵活计算,SRAM 型 LPU 则提供另一种延迟/带宽工作点。服务系统可以将合适的工作分配给两者,但划分必须考虑传输成本、批处理、KV 缓存位置和端到端延迟。如果接口或其他阶段成为关键路径,仅让某个前馈阶段更快并不足够。因此,LPX 应作为互补执行层,与 GPU 和 DPU 并列讨论,而不应被放进一张将其假装成另一款 CUDA GPU 的表格。

16 集成系统与带宽层次

系统参考配置

平台 年份 CPU/加速器 纵向扩展域 每加速器横向扩展 机架/系统功耗 散热
DGX-1 / P100 2016 x86 + 8 P100 8 GPU;非均匀直连拓扑 依配置 n/d 风冷
DGX-2 / V100 2018 x86 + 16 V100 16 GPUs / NVSwitch 依配置 n/d 风冷
HGX / DGX A100 2020 x86 + 8 A100 8 GPUs / NVSwitch 依配置 n/d 依平台
HGX H100 / H200 2022-2024 x86 + 8 GPUs 8 GPUs / NVSwitch 依配置 n/d 按系统采用风冷/液冷
GH200 systems 2023-2024 Grace + Hopper 一致性模块;更大拓扑依系统 依配置 n/d 依平台
GB200 NVL72 2025 36 Grace + 72 Blackwell 72 GPU packages 依参考/云配置;AWS 单 GPU 400 Gb/s EFA 依配置 液冷
GB300 NVL72 2025 36 Grace + 72 Blackwell Ultra 72 GPU packages 依配置 依配置 液冷
Vera Rubin NVL72 2026 36 Vera + 72 Rubin 72 GPU packages 参考单向 200 GB/s;MaxLPS 页面 225 GB/s 依配置 液冷
Groq 3 LPX 2026 256 LPUs; 32 trays LPU 互联;非 NVLink GPU 域 n/d n/d 液冷

DGX 是集成系统产品;HGX 是 GPU 基板/平台构件;MGX 是模块化服务器与机架设计生态;NVL 描述以 NVLink 为中心的系统配置。这些名称不能互换。OEM 可以围绕相同 GPU 构件改变 CPU、网络、存储、散热与供电。机架功耗还包括 CPU、交换机、风扇或水泵、内存及电源转换损耗,因此 GPU TDP 乘以数量并不是机架功耗规格。受功率限制的工作点进一步使这一捷径失效。

2016-2020:GPU 服务器形成互联域

flowchart TD
  cpu["x86 主机"]
  gpus["P100/V100/A100 / 本地 HBM"]
  peer["NVLink/NVSwitch / GPU 对等域"]
  nic["ConnectX 网卡"]
  net["InfiniBand/以太网 / 集群网络"]
  cpu ---|"PCIe"| gpus
  gpus ---|"纵向扩展"| peer
  gpus ---|"GPUDirect RDMA"| nic
  nic ---|"横向扩展"| net

逻辑连接图,并非板级布线图。GPU 本地 HBM 与外部网络仍是不同带宽域。

2023-2024:一致性 CPU-GPU 内存

flowchart TD
  cpu["Grace+LPDDR5X"]
  gpu["Hopper+HBM"]
  nv["NVLink/NVSwitch / GPU 纵向扩展"]
  nic["ConnectX/SuperNIC"]
  dpu["BlueField / 基础设施服务"]
  net["Quantum/Spectrum / 横向扩展网络"]
  cpu ---|"C2C 900 GB/s ↔"| gpu
  gpu ---|"NVLink"| nv
  gpu ---|"RDMA"| nic
  dpu ---|"基础设施"| net
  nic ---|"网络"| net

C2C 支持缓存一致性,但不会使 LPDDR 的延迟或带宽等同本地 HBM。箭头表示连接关系,而非流量方向。

2025:NVL72 机架成为纵向扩展单元

flowchart TD
  cpu["36 颗 Grace CPU"]
  gpu["72 个 Blackwell GPU 封装 / 每个含 2 颗计算裸片"]
  nv["NVLink 5/NVSwitch / 72 GPU 域"]
  dpu["BlueField / 存储/安全"]
  nic["ConnectX/云厂商 NIC"]
  net["横向扩展网络 / Spectrum/Quantum/EFA"]
  cpu ---|"C2C"| gpu
  gpu ---|"每 GPU 双向 1.8 TB/s"| nv
  gpu ---|"RDMA"| nic
  nic ---|"横向扩展"| net
  dpu ---|"服务"| net

云厂商网络表示可选实现,并非声称三种网络同时安装。

2026:异构服务与基础设施

flowchart TD
  cpu["Vera+SOCAMM2"]
  gpu["Rubin+HBM4 / NVLink 6/NVL72"]
  dpu["BlueField-4/STX / 上下文存储"]
  nic["ConnectX-9 / Spectrum-X/Quantum"]
  lpu["Groq 3 LPX / SRAM 型执行"]
  sw["Dynamo/服务调度器 / 放置与数据搬移"]
  cpu ---|"C2C 1.8 TB/s ↔"| gpu
  gpu ---|"横向扩展"| nic
  dpu ---|"上下文流量"| nic
  lpu ---|"互补执行层"| nic
  sw ---|"调度"| lpu
  sw ---|"放置"| dpu

概念性放置图;LPX 连线并不表示其与 Rubin 存在直接 NVLink 或一致性内存连接。

归一化比较与推导

比较 计算 解释
H200/H100 容量 141 / 80 = 1.76× 不改变 SM 代际即可增加模型/KV 容量
H200/H100 HBM 带宽 4.8 / 3.35 = 1.43× 带宽增幅不同于容量增幅
Grace 每核峰值内存带宽 512 / 72 = 7.11 GB/s 总量除以核心数;非每核保证值
Vera 每核峰值内存带宽 1200 / 88 = 13.64 GB/s 此口径约为 Grace 的 1.92 倍
Rubin HBM/NVLink,MaxLPS 19.2 / (3 / 2) = 12.8× 本地 HBM 带宽高于单向对等注入带宽
Rubin NVLink/横向扩展,MaxLPS (3 / 2) / (0.45 / 2) = 6.67× 机架内放置可避免较慢的网络层
800 Gb/s 网络换算 800 / 8 = 100 GB/s 未扣除协议与 PCIe 开销的线速

这些比例揭示层次关系,但不直接预测应用速度。内核的 Roofline 上限由计算吞吐量与“运算强度乘以相关内存带宽”两者的较小值决定;分布式执行还受到通信与同步上限约束。从 HBM 转向对等 GPU 内存、CPU 内存、网络上下文存储或 LPX SRAM,会同时改变带宽与数据归属。架构任务是把数据复用放在成本最低且容量足够的层次,而不是把各层宣传带宽相加。

17 软件将硬件层次变为可用能力

软件与编程里程碑

版本/产品族 日期/时期 关联硬件 关键能力
CUDA / Pascal 2016 P100 统一内存演进;Pascal 编程
CUDA / Volta 2017 V100 张量编程;独立线程调度
Ampere software generation 2020 A100 TF32/BF16 库;MIG;稀疏支持
Hopper software generation 2022-2024 H100 / H200 / GH200 Transformer Engine;TMA;集群;FP8
Blackwell software generation 2024-2026 B200 / B300 / GB200 / GB300 FP4/FP6;Tensor Memory;新内核
NCCL / NVSHMEM ecosystem 跨代 GPU fabrics 集合通信与面向 GPU 的通信;拓扑感知算法
DOCA BlueField 时期 BlueField / ConnectX 基础设施卸载 API 与服务
Dynamo 2025 onward Distributed inference 分离式服务;调度与数据搬移

CUDA 提供执行与内存模型,cuBLAS、cuDNN、CUTLASS 等库将架构特性转化为优化内核。TensorRT 与 TensorRT-LLM 专门优化推理执行,NCCL 则针对实际拓扑协调集合通信。这些层次不能互换。某种 Tensor Core 格式可以先存在于芯片中,而框架或模型尚未充分利用它。同样,新网卡不会自动加速集合通信,传输机制、拓扑发现与算法必须能够利用其能力。

Dynamo 体现了优化对象从单次模型调用转向分布式服务流水线。预填充、解码、专家放置和 KV 缓存搬移具有不同资源特征。分离这些工作可能提高利用率,但也产生网络流量和调度依赖。BlueField 上下文存储与 LPX 增加了放置选择,使调度器成为架构的一部分。因此,在将性能收益归因于新 GPU 代际之前,应固定模型、精度、质量目标、输入/输出长度、批处理方式与延迟目标。

18 架构会议究竟证明了什么

ISCA 2017 的 MCM-GPU 研究多个 GPU 模块如何组成可扩展的逻辑加速器,以及模块间局部性为何重要。MICRO 2017 的 Beyond the Socket 研究 NUMA 感知 GPU,Fine-Grained DRAM 研究高能效内存组织。HPCA 2015 与 ASPLOS 2015 探讨异构一致性内存系统中的带宽和页面放置。这些论文解释了后来在 Blackwell 与 Grace 中仍可见的设计压力:封装边界、非均匀带宽、放置与局部性。但它们不能证明后续商业产品实现了论文中的同一机制。

MICRO 2019 的 Simba 是理解通用 GPU 之外设计空间的重要参照:它研究多芯片推理加速器,采用分布式本地存储及明确组织的通信层次。其电路实现通过 VLSI 和期刊工作披露,不应误标为 ISSCC 2019 的 GPU 产品论文。发表于 ACM TACO 系列的 COPA-GPU 探讨针对不同领域组合不同内存与计算组织。二者扩展了设计空间讨论,但不是 Blackwell 或 LPX 的隐含规格说明。

来源明确点名产品时,产品关联证据最强。ISSCC 的 A100 与 NVLink-C2C 披露是相应产品的实现证据。NVIDIA 对 PrefixRL 的介绍称,Hopper 包含数千个利用该方法设计的算术电路;这支持具体设计工具已被采用的说法,而不是“整个 GPU 由 AI 设计”。Hot Chips 2026 列出了 Vera、Rubin、BlueField-4 和 LPU 演讲,但会议程序只能证明演讲安排与发生,不能证明所有幻灯片或未公开微架构细节都已被审阅。

19 会议-产品索引

精选披露及其证据作用

会议 年份 论文/演讲 演讲者/作者 产品/代际 披露类型 来源/链接编号
Hot Chips 2016 Ultra-Performance Pascal GPU and NVLink Interconnect Denis Foley P100 / NVLink 1 产品架构 C01
Hot Chips 2017 NVIDIA’s Volta GPU: Programmability and Performance for GPU Computing Jack Choquette V100 产品架构 C02
Hot Chips 2020 A100 / Ampere architecture NVIDIA A100 产品架构 C03
Hot Chips 2022 NVIDIA’s Hopper GPU: Scaling Performance Jack Choquette H100 产品架构 C04
Hot Chips 2022 NVIDIA’s Grace CPU NVIDIA Grace CPU/内存系统 C04
Hot Chips 2022 NVLink-Network Switch NVIDIA NVLink switch 纵向扩展架构 C04
Hot Chips 2024 NVIDIA Blackwell Platform: Advancing Generative AI and Accelerated Computing Ajay Tirumala; Raymond Wong Blackwell / GB200 产品与系统架构 C05 C11
Hot Chips 2025 GB200 NVL72 case study John Norton GB200 NVL72 系统教程 C06
Hot Chips 2025 ConnectX-8 SuperNIC: A Programmable RoCE Architecture for AI Data Centers Idan Burstein ConnectX-8 网络端点架构 C06 P19
Hot Chips 2025 Co-Packaged Silicon Photonics Switches for Gigawatt AI Factories Gilad Shainer Photonics 光网络 C06 P23
Hot Chips 2025 NVIDIA’s GB10 SoC: AI Supercomputer On Your Desk Andi Skende GB10 SoC 架构 C06
Hot Chips 2025 RTX 5090: Designed for the Age of Neural Rendering Marc Blackstein Client Blackwell 相关图形分支 C06
Hot Chips 2026 Vera CPU Jonathon Evans; Polychronis Xekalakis Vera 程序+厂商技术披露 C07 P10
Hot Chips 2026 Rubin GPU: Driving the Era of Agentic AI Manas Mandal; Rajballav Dash; Rouslan Dimitrov Rubin 程序+厂商技术披露 C07 P07
Hot Chips 2026 BlueField-4 Processor Powers the AI Factory Operating System Idan Burstein BlueField-4 程序+厂商技术披露 C07 P20
Hot Chips 2026 Spectrum-X Multiplane Network Architecture Gilad Shainer Spectrum-X 程序+厂商技术披露 C07 P39
Hot Chips 2026 Think Fast: LPU Accelerator for Heterogeneous Compute Igor Arsovski; Santosh Raghavan LPX 程序+厂商技术披露 C07 P12
ISSCC 2018 1.17pJ/b 25Gb/s/pin Ground-Referenced Single-Ended Serial Link NVIDIA research team 信号研究 研究电路;非 Grace 量产 PHY R07
ISSCC 2021 3.2 The A100 Datacenter GPU and Ampere Architecture Jack Choquette et al. A100 官方新闻资料;直接实现披露 C08
ISSCC 2023 9.3 NVLink-C2C: A Coherent Off-Package Chip-to-Chip Interconnect with 40Gbps/pin Single-Ended Signaling Ying Wei et al. Grace / Hopper C2C 官方新闻资料;PHY 实现 C09
ISSCC 2026 17.1 GB10 SoC Built for AI Acceleration Andi Skende; G. Rosseel; N. Pinckney GB10 官方程序;未审阅论文全文 C10
ISCA 2017 MCM-GPU: Multi-Chip-Module GPUs for Continued Performance Scalability NVIDIA research collaborators 多芯片 GPU 研究 研究;不自动归因于 Blackwell R01
MICRO 2017 Beyond the Socket: NUMA-Aware GPUs Ugljesa Milic et al. NUMA GPU 研究 研究机制 R02
MICRO 2017 Fine-Grained DRAM: Energy-Efficient DRAM for Extreme Bandwidth Systems Mike O’Connor et al. 内存研究 研究机制 R03
MICRO 2019 Simba: Scaling Deep-Learning Inference with Multi-Chip-Module-Based Architecture Yakun Sophia Shao et al. Simba 研究加速器 R10
HPCA 2015 Unlocking Bandwidth for GPUs in CC-NUMA Systems Neha Agarwal et al. 一致性内存放置 研究;非 Grace 规格 R04
ASPLOS 2015 Page Placement Strategies for GPUs within Heterogeneous Memory Systems Neha Agarwal et al. 页面放置 研究;非 Grace 规格 R05
ACM TACO 2021 GPU Domain Specialization via Composable On-Package Architecture NVIDIA research collaborators COPA-GPU 研究;期刊,非四大会演讲 R06
DAC / follow-up 2021-2022 PrefixRL / arithmetic circuit design NVIDIA research team Hopper design flow 后续资料明确产品采用 P41
GTC 2016-2026 P100 → Volta → Ampere → Hopper → Blackwell → Rubin NVIDIA 完整平台 发布、架构、软件、路线图 P01 P02 P03 P04 E03 E07
Computex 2025 ConnectX-8 与 NVLink Fusion NVIDIA 网络与生态 产品/生态 P19 P27
SC20 2020 A100 80 GB NVIDIA A100 / HGX 内存升级发布 E20 P15
OCP Global Summit 2025 MGX、供电与 AI 工厂基础设施 NVIDIA / partners 机架生态;未来供电设计 系统集成/路线图 E12
AWS re:Invent 2025 NVIDIA 平台与 NVLink Fusion 合作 AWS / NVIDIA Blackwell / Fusion 生态;另行核对 GA E13 E16
Microsoft Ignite 2025 Azure ND GB300 v6 GA Microsoft GB300 NVL72 云服务正式商用 E15
Google Cloud Next / update 2025 A4X / GB200 Google Cloud GB200 云产品;5 月 GA 更新 E14
MWC / AI-RAN 2025 Aerial AI-RAN 架构 NVIDIA / telecom partners Grace Hopper / Blackwell / BlueField 部署架构;非 GPU 核心披露 E19
AI Infra Summit 2026 Vera Rubin/DSX 能效 NVIDIA Rubin 系统功耗与效率 E11

20 跨代结论与尚未披露事项

核心趋势是在可编程系统内部进行专用化,而不是简单用固定功能替代可编程性。Tensor Core 专用化算术,TMA 专用化数据搬移,NVSwitch 专用化纵向扩展通信,SHARP 专用化部分归约,BlueField 专用化基础设施,LPX 则专用化另一种推理执行方式。CUDA 与服务软件栈将这些资源连接起来。系统能力增强的同时,也更加依赖数据放置、数值选择和软件协同。

长期工程约束十分清晰。HBM 容量与带宽决定模型能否容纳及数据复用。裸片间接口允许处理器扩大,但引入局部性成本。机架级互联降低部分通信代价,同时提高供电、散热与维护要求。更高网络线速需要主机接口带宽和拥塞控制配合。一致性 CPU 内存与外部上下文存储扩展容量,却不能替代本地 HBM 性能。每代产品都在移动这些边界,而非消除它们。

公开资料仍存在重要缺口:完整 CPU 队列与流水线参数、部分 Blackwell SKU 的启用单元数量与功耗工作点、DGX 与 HGX 页面可用内存统计的统一解释、Rubin 最终配置与广泛正式商用里程碑、量产光学实现细节,以及 CPX 最终商业配置。报告将这些缺口集中列于此处,而不是在全文反复标注置信度。后续应通过有日期的一手披露补全,而非平均不一致的规格或把传闻写入产品表。

21 代号对照与来源指南

架构、芯片与产品名称

架构/芯片 产品 重要区别
Maxwell / GM200 M40 无 Tensor Core
Pascal / GP100 P100 GP100 不同于 P4/P40 推理芯片
Volta / GV100 V100 Turing T4 是另一分支
Ampere / GA100 A100 GA100 不同于图形 Ampere
Hopper / GH100 H100 / H200 GH200 表示 Grace-Hopper 组合
Datacenter Blackwell B200 / GB200 B200 GPU 与 GB200 CPU-GPU 构造不同
Blackwell Ultra B300 / GB300 FP64 配比不同于 B200
Rubin + Vera Vera Rubin NVL72 Rubin GPU 与 Vera CPU 是不同芯片
Grace-derived + ConnectX-9 BlueField-4 DPU 的 CPU 不是 Vera
LP30 / LPU Groq 3 LPX 获许可的推理技术;非 CUDA GPU

下列来源分为产品文档、会议记录、研究论文和活动/部署披露。来源映射将报告各章节与证据关联。配套规范数据文件保留表格单元格事实、口径、产品范围、来源编号与日期,便于后续更新。会议程序和新闻资料均按其实际类型标识;报告不暗示已访问付费论文或受限录像。规格是截止日期时的快照,在线产品页面此后可能变化。

来源映射

01 执行摘要 — C01, C04, C08, C09, E01, E08, E09, E14, E15, E16, P01, P02, P03, P04, P05, P06, P07, P08, P10, P11, P12, P14, P37, P42, R01, R04, R05

02 规格口径与比较方法 — E08, E14, E15, E16, P01, P02, P03, P06, P11, P13, P15, P37, P38

03 GPU 规格总览 — E08, E18, P01, P02, P03, P04, P05, P06, P07, P11, P13, P14, P15, P16, P17, P32, P33, P34, P35, P36, P37, P42

04 Maxwell 与 Pascal:形成加速器系统 — C01, E18, P01, P36, P42

05 Volta:矩阵执行与交换式纵向扩展 — C02, P02, P18, P28, P29, P30, P31, P35

06 Ampere:数值格式、隔离与实现 — C03, C08, P03, P15, P34

07 Hopper 与 H200:异步计算与内存 — C04, P04, P08, P13, P14, P18, P33

08 Blackwell 与 Ultra:跨越裸片与机架边界 — C11, E14, E15, E16, P05, P06, P18, P27, P32, P37

09 Rubin:平台代际与配置约束 — C07, E03, E04, E08, E11, P07, P10, P11, P12, P20, P37, P38

10 Grace 与 Vera CPU:主机进入协同架构 — C07, C09, E08, P08, P09, P10, P11, R07

11 推理、工作站与边缘分支 — C10, E08, E18, P28, P29, P30, P31, P46

12 NVLink、NVSwitch 与一致性 C2C — C09, E13, P01, P02, P03, P04, P05, P08, P10, P11, P18, P27, P38

13 ConnectX 与 BlueField:端点与基础设施 — C06, E01, E05, E09, P11, P19, P20, P21, P22, P24, P25, P26, P43, P48, P49, P50

14 Spectrum、Quantum 与光互联 — C06, E02, E09, E10, P23, P39, P40, P44, P47, P51, R08

15 Groq 3 LPX 与专用推理 — E06, E09, E17, P12

16 集成系统与带宽层次 — E08, E09, E12, E15, E16, P01, P02, P03, P06, P08, P09, P10, P11, P12, P13, P14, P16, P17, P18, P19, P20, P21, P27, P38

17 软件将硬件层次变为可用能力 — E08, E17, P01, P02, P03, P04, P06, P12, P20, P24, P25, P32, P33, P34, P35, P36, P39, P44

18 架构会议究竟证明了什么 — C07, C08, C09, P41, R01, R02, R03, R04, R05, R06, R10

19 会议-产品索引 — C01, C02, C03, C04, C05, C06, C07, C08, C09, C10, C11, E03, E07, E11, E12, E13, E14, E15, E16, E19, E20, P01, P02, P03, P04, P07, P10, P12, P15, P19, P20, P23, P27, P39, P41, R01, R02, R03, R04, R05, R06, R07, R10

20 跨代结论与尚未披露事项 — E04, E08, E17, P01, P03, P04, P08, P10, P12, P17, P18, P19, P20, P23, P32, P37, P38, P40

21 代号对照与来源指南 — C08, C09, C10, E06, E18, P01, P02, P03, P04, P05, P06, P08, P11, P12, P14, P16, P20, P28, P37, P38, P42

参考资料

产品与技术文档

[P01] Pascal architecture whitepaper. https://images.nvidia.com/content/pdf/tesla/whitepaper/pascal-architecture-whitepaper.pdf. 一手资料;访问截止 2026-09-28

[P02] Volta architecture whitepaper. https://www.nvidia.com/content/dam/en-zz/Solutions/Data-Center/tesla-product-literature/volta-architecture-whitepaper.pdf. 一手资料;访问截止 2026-09-28

[P03] Ampere architecture whitepaper. https://images.nvidia.com/aem-dam/en-zz/Solutions/data-center/nvidia-ampere-architecture-whitepaper.pdf. 一手资料;访问截止 2026-09-28

[P04] Hopper architecture in depth. https://developer.nvidia.com/blog/nvidia-hopper-architecture-in-depth/. 一手资料;访问截止 2026-09-28

[P05] Blackwell architecture overview. https://www.nvidia.com/en-us/data-center/technologies/blackwell-architecture/. 一手资料;访问截止 2026-09-28

[P06] Blackwell Ultra architecture. https://developer.nvidia.com/blog/inside-nvidia-blackwell-ultra-the-chip-powering-the-ai-factory-era/. 一手资料;访问截止 2026-09-28

[P07] Rubin GPU architecture. https://developer.nvidia.com/blog/inside-nvidia-rubin-gpu-architecture-powering-the-era-of-agentic-ai/. 一手资料;访问截止 2026-09-28

[P08] Grace Hopper architecture. https://developer.nvidia.com/blog/nvidia-grace-hopper-superchip-architecture-in-depth/. 一手资料;访问截止 2026-09-28

[P09] Grace CPU tuning guide. https://docs.nvidia.com/grace-perf-tuning-guide/index.html. 一手资料;访问截止 2026-09-28

[P10] Vera Olympus core. https://developer.nvidia.com/blog/inside-nvidia-vera-cpu-olympus-cores-built-for-maximum-single-threaded-performance-in-agentic-ai/. 一手资料;访问截止 2026-09-28

[P11] Vera Rubin platform. https://developer.nvidia.com/blog/inside-the-nvidia-rubin-platform-six-new-chips-one-ai-supercomputer/. 一手资料;访问截止 2026-09-28

[P12] Groq 3 LPX architecture. https://developer.nvidia.com/blog/inside-nvidia-groq-3-lpx-the-low-latency-inference-accelerator-for-the-nvidia-vera-rubin-platform/. 一手资料;访问截止 2026-09-28

[P13] H100 specifications. https://www.nvidia.com/en-us/data-center/h100/. 一手资料;访问截止 2026-09-28

[P14] H200 specifications. https://www.nvidia.com/en-us/data-center/h200/. 一手资料;访问截止 2026-09-28

[P15] A100 specifications. https://www.nvidia.com/en-us/data-center/a100/. 一手资料;访问截止 2026-09-28

[P16] DGX B200 user guide. https://docs.nvidia.com/dgx/dgxb200-user-guide/introduction-to-dgxb200.html. 一手资料;访问截止 2026-09-28

[P17] DGX B300 user guide. https://docs.nvidia.com/dgx/dgxb300-user-guide/introduction-to-dgxb300.html. 一手资料;访问截止 2026-09-28

[P18] NVLink specifications. https://www.nvidia.com/en-us/data-center/nvlink/. 一手资料;访问截止 2026-09-28

[P19] ConnectX-8 integrated PCIe switch. https://developer.nvidia.com/blog/nvidia-connectx-8-supernics-advance-ai-platform-architecture-with-pcie-gen6-connectivity/. 一手资料;访问截止 2026-09-28

[P20] BlueField-4 architecture. https://developer.nvidia.com/blog/scaling-agentic-ai-factories-through-extreme-co-design-with-nvidia-bluefield/. 一手资料;访问截止 2026-09-28

[P21] ConnectX-9 manual. https://networking-docs.nvidia.com/connectx9hw/introduction. 一手资料;访问截止 2026-09-28

[P22] Ethernet SuperNIC portfolio. https://www.nvidia.com/en-us/networking/products/ethernet/supernic/. 一手资料;访问截止 2026-09-28

[P23] Silicon photonics networking. https://www.nvidia.com/en-us/networking/products/silicon-photonics/. 一手资料;访问截止 2026-09-28

[P24] BlueField-3 hardware. https://networking-docs.nvidia.com/bf3dpu/introduction. 一手资料;访问截止 2026-09-28

[P25] BlueField-2 hardware. https://docs.nvidia.com/networking/display/BlueField2DPUENUG/Introduction. 一手资料;访问截止 2026-09-28

[P26] ConnectX-6 hardware. https://networking-docs.nvidia.com/connectx6vpihw/introduction. 一手资料;访问截止 2026-09-28

[P27] NVLink Fusion architecture. https://developer.nvidia.com/blog/integrating-custom-compute-into-rack-scale-architecture-with-nvidia-nvlink-fusion/. 一手资料;访问截止 2026-09-28

[P28] T4 specifications. https://www.nvidia.com/en-us/data-center/tesla-t4/. 一手资料;访问截止 2026-09-28

[P29] L4 specifications. https://www.nvidia.com/en-us/data-center/l4/. 一手资料;访问截止 2026-09-28

[P30] L40S specifications. https://www.nvidia.com/en-us/data-center/l40s/. 一手资料;访问截止 2026-09-28

[P31] RTX PRO 6000 Blackwell Server Edition. https://www.nvidia.com/en-us/data-center/rtx-pro-6000-blackwell-server-edition/. 一手资料;访问截止 2026-09-28

[P32] Blackwell tuning guide. https://docs.nvidia.com/cuda/blackwell-tuning-guide/. 一手资料;访问截止 2026-09-28

[P33] Hopper tuning guide. https://docs.nvidia.com/cuda/hopper-tuning-guide/. 一手资料;访问截止 2026-09-28

[P34] Ampere tuning guide. https://docs.nvidia.com/cuda/ampere-tuning-guide/. 一手资料;访问截止 2026-09-28

[P35] Volta tuning guide. https://docs.nvidia.com/cuda/volta-tuning-guide/. 一手资料;访问截止 2026-09-28

[P36] Pascal tuning guide. https://docs.nvidia.com/cuda/pascal-tuning-guide/. 一手资料;访问截止 2026-09-28

[P37] HGX GPU specifications. https://www.nvidia.com/en-us/data-center/hgx/. 一手资料;访问截止 2026-09-28

[P38] Vera Rubin NVL72 specifications. https://www.nvidia.com/en-us/data-center/vera-rubin-nvl72/. 一手资料;访问截止 2026-09-28

[P39] Spectrum-X multiplane architecture. https://developer.nvidia.com/blog/giga-scale-ai-ethernet-evolution-spectrum-x-ethernet-rewrites-rules/. 一手资料;访问截止 2026-09-28

[P40] Quantum-2 architecture. https://nvidianews.nvidia.com/news/nvidia-quantum-2-takes-supercomputing-to-new-heights-into-the-cloud. 一手资料;访问截止 2026-09-28

[P41] PrefixRL product adoption. https://developer.nvidia.com/blog/designing-arithmetic-circuits-with-deep-reinforcement-learning/. 一手资料;访问截止 2026-09-28

[P42] M40 24 GB data sheet. https://images.nvidia.com/content/tesla/pdf/78071_Tesla_M40_24GB_Print_Datasheet_LR.PDF. 一手资料;访问截止 2026-09-28

[P43] ConnectX-4 Lx brief. https://network.nvidia.com/files/doc-2020/pb-connectx-4-lx-en-card.pdf. 一手资料;访问截止 2026-09-28

[P44] NCCL documentation. https://docs.nvidia.com/deeplearning/nccl/user-guide/docs/overview.html. 一手资料;访问截止 2026-09-28

[P46] DGX Spark specifications. https://www.nvidia.com/en-us/products/workstations/dgx-spark/. 一手资料;访问截止 2026-09-28

[P47] Ethernet switch family specifications. https://www.nvidia.com/en-us/networking/ethernet-switching/. 一手资料;访问截止 2026-09-28

[P48] BlueField first-generation DPU brief. https://network.nvidia.com/sites/default/files/doc-2020/pb-bluefield-dpu.pdf. 一手资料;访问截止 2026-09-28

[P49] ConnectX-5 hardware. https://networking-docs.nvidia.com/connectx5enhw/introduction. 一手资料;访问截止 2026-09-28

[P50] ConnectX-7 hardware. https://networking-docs.nvidia.com/connectx7hw/introduction. 一手资料;访问截止 2026-09-28

[P51] Spectrum-2 hardware. https://networking-docs.nvidia.com/sn3000hw/introduction. 一手资料;访问截止 2026-09-28

会议记录与实现披露

[C01] Hot Chips 28 program. https://hc28.hotchips.org/. 会议程序;经网页索引核对;不代表已审阅全部演讲材料。

[C02] Hot Chips 29 program. https://hc29.hotchips.org/. 会议程序;经网页索引核对;不代表已审阅全部演讲材料。

[C03] Hot Chips 32 program. https://hc32.hotchips.org/. 会议程序;经网页索引核对;不代表已审阅全部演讲材料。

[C04] Hot Chips 34 program. https://hc34.hotchips.org/program/conference/. 会议程序;经网页索引核对;不代表已审阅全部演讲材料。

[C05] Hot Chips 2024 program. https://hc2024.hotchips.org/. 会议程序;经网页索引核对;不代表已审阅全部演讲材料。

[C06] Hot Chips 2025 program. https://hc2025.hotchips.org/. 会议程序;经网页索引核对;不代表已审阅全部演讲材料。

[C07] Hot Chips 2026 program. https://hc2026.hotchips.org/. 会议程序;经网页索引核对;不代表已审阅全部演讲材料。

[C08] ISSCC 2021 A100 press-kit disclosure. https://static1.squarespace.com/static/6130ef779c7a2574bd4b8888/t/616c79ed5a30e36825f47818/1634499069232/isscc2021.press_kit_110620.pdf. 官方新闻资料,不是论文全文。

[C09] ISSCC 2023 NVLink-C2C press-kit disclosure. https://www.isscc.org/s/ISSCC2023-PressKit.pdf. 官方新闻资料,不是论文全文。

[C10] ISSCC 2026 advance program. https://submissions.mirasmart.com/ISSCC2026/PDF/ISSCC2026AdvanceProgram.pdf. 官方会议程序;未审阅论文全文。

[C11] Hot Chips 2024 Blackwell presentation, Tirumala and Wong. https://hc2024.hotchips.org/assets/program/conference/day1/64_HC2024.NVIDIA.TirumalaWong.pdf. 一手资料;访问截止 2026-09-28

研究论文与出版目录

[R01] MCM-GPU: Multi-Chip-Module GPUs for Continued Performance Scalability. https://research.nvidia.com/sites/default/files/publications/ISCA_2017_MCMGPU.pdf. 一手资料;访问截止 2026-09-28

[R02] Beyond the Socket: NUMA-Aware GPUs. https://research.nvidia.com/sites/default/files/pubs/2017-10_Beyond-the-socket%3A/milic_micro17.pdf. 一手资料;访问截止 2026-09-28

[R03] Fine-Grained DRAM: Energy-Efficient DRAM for Extreme Bandwidth Systems. https://research.nvidia.com/sites/default/files/pubs/2017-10_Fine-Grained-DRAM%3A-Energy-Efficient/oconnor_and_chatterjee.micro2017.pdf. 一手资料;访问截止 2026-09-28

[R04] Unlocking Bandwidth for GPUs in CC-NUMA Systems. https://research.nvidia.com/publication/2015-02_unlocking-bandwidth-gpus-cc-numa-systems. 一手资料;访问截止 2026-09-28

[R05] Page Placement Strategies for GPUs within Heterogeneous Memory Systems. https://research.nvidia.com/publication/2015-03_page-placement-strategies-gpus-within-heterogeneous-memory-systems. 一手资料;访问截止 2026-09-28

[R06] GPU Domain Specialization via Composable On-Package Architecture. https://research.nvidia.com/publication/2021-12_gpu-domain-specialization-composable-package-architecture. 一手资料;访问截止 2026-09-28

[R07] 1.17pJ/b 25Gb/s/pin Ground-Referenced Single Ended Serial Link. https://research.nvidia.com/publication/2018-02_117pjb-25gbspin-ground-referenced-single-ended-serial-link-and-package. 一手资料;访问截止 2026-09-28

[R08] NVIDIA circuits publication registry. https://research.nvidia.com/research-area/circuits-and-vlsi-design. 一手资料;访问截止 2026-09-28

[R10] Simba: Scaling Deep-Learning Inference with Multi-Chip-Module-Based Architecture. https://research.nvidia.com/sites/default/files/pubs/2019-10_Simba%3A-Scaling-Deep-Learning//shao2019-micro.pdf. 一手资料;访问截止 2026-09-28

发布、生态与部署

[E01] Rubin GTC 2026 production disclosure. https://nvidianews.nvidia.com/news/nvidia-vera-rubin-platform. 一手资料;访问截止 2026-09-28

[E02] Spectrum-4 announcement. https://nvidianews.nvidia.com/news/nvidia-announces-spectrum-high-performance-data-center-networking-infrastructure-platform. 一手资料;访问截止 2026-09-28

[E03] GTC 2025 roadmap highlights. https://images.nvidia.com/nvimages/gtc/pdf/GTC2025_Highlights_v2.pdf. 一手资料;访问截止 2026-09-28

[E04] Rubin CPX original announcement. https://nvidianews.nvidia.com/news/nvidia-unveils-rubin-cpx-a-new-class-of-gpu-designed-for-massive-context-inference. 一手资料;访问截止 2026-09-28

[E05] Mellanox acquisition completion. https://nvidianews.nvidia.com/news/nvidia-completes-acquisition-of-mellanox-creating-major-force-driving-next-gen-data-centers. 一手资料;访问截止 2026-09-28

[E06] Groq NVIDIA licensing agreement. https://groq.com/newsroom/groq-and-nvidia-enter-non-exclusive-inference-technology-licensing-agreement-to-accelerate-ai-inference-at-global-scale. 一手资料;访问截止 2026-09-28

[E07] GTC 2026 highlights. https://s201.q4cdn.com/141608511/files/doc_events/2026/Mar/16/GTC26_San-Jose_Highlights_.pdf. 一手资料;访问截止 2026-09-28

[E08] Rubin MLPerf preview September 2026. https://blogs.nvidia.com/blog/vera-rubin-nvl72-mlperf-inference/. 一手资料;访问截止 2026-09-28

[E09] Hot Chips 2026 LPX production and platform update. https://blogs.nvidia.com/blog/vera-rubin-lpx-spectrum-x-nvlink-fusion/. 一手资料;访问截止 2026-09-28

[E10] Spectrum-6 deployments July 2026. https://blogs.nvidia.com/blog/nvidia-spectrum-six-arrives-in-gigascale-ai-factories/. 一手资料;访问截止 2026-09-28

[E11] AI Infra Summit September 2026. https://blogs.nvidia.com/blog/ai-infra-summit-vera-rubin-dsx-energy-efficiencies-tokens-per-watt-ai-factories/. 一手资料;访问截止 2026-09-28

[E12] OCP 2025 power and MGX. https://blogs.nvidia.com/blog/gigawatt-ai-factories-ocp-vera-rubin/. 一手资料;访问截止 2026-09-28

[E13] AWS re:Invent 2025 NVIDIA disclosures. https://www.nvidia.com/en-us/events/aws-reinvent/. 一手资料;访问截止 2026-09-28

[E14] Google A4X GA update. https://cloud.google.com/blog/products/compute/new-a4x-vms-powered-by-nvidia-gb200-gpus. 一手资料;访问截止 2026-09-28

[E15] Azure GB300 GA at Ignite 2025. https://techcommunity.microsoft.com/blog/azurehighperformancecomputingblog/azure-nd-gb300-v6-now-generally-available---hyper-optimized-for-generative-and-a/4469475. 一手资料;访问截止 2026-09-28

[E16] AWS P6e GB200 GA. https://aws.amazon.com/about-aws/whats-new/2025/07/amazon-p6e-gb200-ultraservers-gpu-performance-ec2/. 一手资料;访问截止 2026-09-28

[E17] Dynamo launch at GTC 2025. https://nvidianews.nvidia.com/news/nvidia-dynamo-open-source-library-accelerates-and-scales-ai-reasoning-models. 一手资料;访问截止 2026-09-28

[E18] Pascal inference P4 P40 and Maxwell baseline. https://developer.nvidia.com/blog/new-pascal-gpus-accelerate-inference-in-the-data-center/. 一手资料;访问截止 2026-09-28

[E19] AI-RAN reference architecture and FAQ. https://docs.nvidia.com/aerial-resources/2025_AI-RAN_FAQ.pdf. 一手资料;访问截止 2026-09-28

[E20] SC20: NVIDIA announces A100 80GB. https://nvidianews.nvidia.com/news/nvidia-doubles-down-announces-a100-80gb-gpu-supercharging-worlds-most-powerful-gpu-for-ai-supercomputing. 一手资料;访问截止 2026-09-28