超节点行业指标定义 — 深度调研报告

关键发现："超节点"（Super-Node）是中文行业术语，精确的英文学术对应词是 scale-up domain 或 rack-scale computer。它不是单一标准定义，而是制造商、云商、学术界各自使用略有差异但内核趋同的概念体系。

核心结论一览

定义层面：超节点 = 通过高速互联协议将数十至数千个AI处理器编织为逻辑统一的高密度计算体，域内满足大带宽(≥400GB/s per GPU)+ 低时延(<500ns) + 内存统一编址(Load/Store语义)三大基础特征。来源：华为云《超节点发展报告》定义
规模阈值：行业正在收敛到1024 加速器/Pod 作为单超节点规模上限（UALink 1.0 标准），华为规划到 8192。来源：UALink Consortium, 华为白皮书
核心指标：行业共识的指标体系包含六大维度：规模(#加速器)、互联(per-GPU/聚合带宽、拓扑直径)、算力(PFLOPS/MFU)、内存(容量/统一编址)、能效(kW/rack/PUE)、可靠性(MTBF/RAS)。来源：共熵服务中心 5维度框架 + 本报告扩展
关键分歧：封闭 vs 开放 — NVIDIA NVLink（垂直整合） vs Huawei UALink/灵衢（开源开放） vs Google ICI（自研专有）。来源：NVIDIA docs, 华为白皮书, Google Cloud docs
学术空白：学术界更常用 "rack-scale computer"/"scale-up network"，顶会(HPCA/ISCA/SC)对超节点尚无统一的形式化定义。来源：Google Scholar 检索验证

二、"超节点"的定义 — 三层含义

层次 1：硬件拓扑层（最窄义）

超节点 = 一个高速互联域（Scale-Up Domain）。由通过 NVLink / UALink / ICI 等专有总线直接全连接或单跳交换的一组加速器组成，域内满足：

统一内存地址空间（Unified Virtual Addressing / Load-Store 语义）
per-GPU 带宽 ≥ 400 GB/s（业界当前基线）
交换时延 < 500 ns

来源：华为云《超节点发展报告》p.15 — "超节点可以支持32及以上AI芯片，AI芯片到交换芯片带宽不小于400GB/s，交换设备时延小于500ns。超节点域内AI芯片支持内存统一编址"

层次 2：系统产品层（产品定义）

超节点 = 厂商交付的最小可独立运行的超级计算单元。各家产品命名与规模：

厂商	产品名	规模（加速器数）	关键指标
NVIDIA	GB300 NVL72 (SU)	72 GPUs (1 SU) → 576 (8 Racks)	1800 GB/s per GPU, 130 TB/s SU级聚合, 142 kW/rack
NVIDIA	NVL144	144 GPUs 跨两机架	NVLink all-to-all, 3.6 TB/s per GPU (NVLink 6.0)
华为昇腾	Atlas 900 SuperPod	384 NPUs → 规划 8192	HCCS 互联, 通信带宽 15x vs 传统, 时延 200ns
Google	TPU v6e Pod	256 chips	BF16 234.9 PFLOPS/Pod, all-reduce 102.4 TB/s
AMD	MI455X Helios	72 GPUs/rack	UALoE, ~3.6 TB/s per GPU, ~260 TB/s rack级
阿里云	磐久128	128 GPUs	UPN512 全光互连

来源：NVIDIA Enterprise RA, Google Cloud TPU v6e docs, 共熵超节点发展趋势探讨, 华为白皮书

层次 3：调度/部署层（最广义）

超节点 = 智算中心的基本部署/调度/计费单元。云商以"一个超节点"作为不可拆分的资源分配粒度 — 用户租赁的最小单位不是单卡，而是一个完整的超节点或超节点的整数倍切分。此时超节点的定义由管理边界决定。

来源：上海AI实验室《超节点技术体系白皮书》— "超节点的出现，对算力行业发展有新启示。算力竞争从单一变量（芯片）变成了多变量协同——互联、软件、整机、RAS 共同决定系统能交付多少有效算力"

三、制造商视角：NVIDIA / 华为昇腾 / AMD

3.1 NVIDIA — "NVLink Domain" 作为超节点核心概念

NVIDIA 官方术语（Enterprise RA 文档 Appendix A）：
NVLink Domain = "The full set of nodes connected with a single multi-node NVLink fabric"
NVLink Block = "A group of nodes within a NVLink Domain that are allocated to the same job"
Scalable Unit (SU) = "18 compute nodes with 72 GPUs" (基本构建块) 来源：NVIDIA Enterprise RA — Appendix A Terminology

GB300 NVL72 官方规格（来源：components.html）

指标	数值
每 SU 计算节点数	18 nodes / 72 GPUs
NVSwitch trays	9 per rack, 2 ASICs/tray
NVLink 聚合带宽	130 TB/s per rack
每 GPU NVLink 带宽	1800 GB/s (18 links × 50 GB/s × 2)
GPU	NVIDIA B300 (Blackwell Ultra), 1152 GB HBM3 per tray (4 GPUs)
CPU	NVIDIA Grace ×2, 72 ARM Neoverse V2 cores, 1 TB LPDDR5
计算网络	4× ConnectX-8 SuperNIC per tray, 800 Gb/s each
最小 per-GPU 计算带宽	400 GB/s (推荐 800 GB/s)
机架功耗	最高 142 kW
冷却	液冷 (MGX architecture)
规模扩展	2 Racks (144 GPUs) → 4 Racks (288) → 8 Racks (576)
管理 OS	NVOS (NVLink Switch), Global Fabric Manager

NVIDIA 定义的精髓：超节点（NVLink Domain）是一个逻辑上可被操作系统和调度器视为单一巨型多GPU计算体的算力单元。所有 72 GPUs 可以通过 NVLink fabric 直接 P2P 通讯，"enable all 72 GPUs to function as a single multi-GPU unit of compute"。

3.2 华为昇腾 — "超节点" 的中文定义倡导者

"超节点是AI计算节点通过高速互联协议组成更大内存空间的AI系统。超节点可以支持32及以上AI芯片，AI芯片到交换芯片带宽不小于400GB/s，交换设备时延小于500ns。超节点域内AI芯片支持内存统一编址，AI芯片使用内存语义可直接访问其他AI芯片的内存。"

华为超节点特征体系（技术特征 + 系统特征）

类别	特征	具体指标
基础特征	超大带宽互联	≥400 GB/s per chip (chip→switch)
	超低时延	<500 ns 交换时延; 200ns 单跳 (昇腾384)
	内存统一编址	全局唯一内存地址，Load/Store 语义跨芯片访问
扩展特征	多级缓存池化	显存-内存-存储三级，KV Cache 池化
扩展特征	资源灵活配比	CPU/NPU/内存/存储动态配比调整
系统特征	超大规模	384 NPUs → 规划 8192
	超高可靠	器件/网络/系统三级RAS, 故障预测+分级恢复
	灵活切分	物理超节点 → 多个逻辑超节点

华为产品路线：昇腾384 超节点（384 NPUs, Atlas 900 SuperCluster）→ 下一代扩展至 8192 卡（Atlas 950 SuperPod, 8 EFLOPS FP8）。来源：共熵, 第一财经 WAIC 2026 报道

3.3 AMD — 开放生态仰赖 UALink

AMD MI455X Helios 系统：72 GPU/rack, UALoE 互联, 每加速器 ~3.6 TB/s scale-up 带宽, rack 级总带宽 ~260 TB/s。H2 2026 首次量产硅。来源：Spheron UALink vs NVLink 对比 (2026.6.24), 已有调研报告 ai_supernode_bus_research

四、头部互联网（超大规模云商）视角

核心洞察：超大规模云商不常用"超节点"这个词。Google 用 "TPU Pod"，Meta 用 "Grand Teton" rack，微软亚马逊用 "cluster" / "scale unit"。但他们的"Pod"概念完全等价于制造商的"超节点"——即一个高速互联的最小逻辑超级计算机。

4.1 Google — "TPU Pod" 的官方定义

Google Cloud 官方定义：
"A TPU Pod is a massive physical cluster of TPU chips connected together over a specialized, high-speed network"
"A TPU Pod is a contiguous set of TPUs grouped together over a specialized network." 来源：Google Cloud TPU 主页, TPU architecture docs

TPU v6e (Trillium) 官方规格（来源：cloud.google.com/tpu/docs/v6e）

指标	数值
Pod 规模	256 chips per Pod
每 chip 峰值算力	918 TFLOPS (bf16) / 1836 TOPs (int8)
Pod 级聚合算力	234.9 PFLOPS (bf16)
HBM	32 GB/chip, 1638 GBps/chip
ICI (片间互联)	800 GBps per chip (双向), 4 ports
Pod 级 all-reduce 带宽	102.4 TB/s
Pod 级对分带宽	3.2 TB/s
拓扑	2D torus
数据中心网络	25.6 Tbps per Pod (4×200 Gbps NIC per host)
特殊单元	SparseCore
每 host	8 chips, 1536 GiB DRAM
支持切分	1×1 → 16×16 (含 sub-host, single-host, multi-host)

Google TPU 各代 Pod 规模对比

TPU 代际	Pod 规模 (chips)	all-reduce / Pod	用途
TPU v5e	256	51.2 TB/s	训练+推理
TPU v5p	8,960	-	大规模训练
TPU v6e (Trillium)	256	102.4 TB/s	训练+微调+推理
TPU v7x (Ironwood)	-	-	(新一代)

来源：Google Cloud v5e/v6e/v5p docs (2026.7.10 更新)

4.2 Meta — OAM 开放加速模组 + Grand Teton

Meta 在开放生态建设中走在最前列。其推出的 OCP OAM (Open Accelerator Module) 规范定义了 AI 加速器的物理/电源/散热/管理接口，允许不同厂商加速器互换部署。UBB (Universal Baseboard) 支持 8 颗 OAM 加速器互联。OAM 已被微软 Azure、Meta、百度大规模部署。来源：共熵超节点发展趋势探讨 (2026.3.18)

Meta 的 Grand Teton 平台和 MTIA 自研 AI 芯片同样在超节点尺度部署，但详细规格未公开。

4.3 中国云商

五、学术视角：rack-scale computing 与 scale-up domain

核心发现：学术界几乎不使用"超节点(Super-Node)"这个术语。Google Scholar 搜索 "super-node"+"scale-up domain" 仅返回 1 篇。学术界对应的精确概念是：

Rack-scale computer（机架级计算机）
Scale-up domain / scale-up network（聚合网络）
Super-node（仅用于 interconnect topology 层次，fat-tree/dragonfly 的第一层）
GPU ensemble / tightly-coupled GPU cluster

5.1 学术文献中的 "super-node" 拓扑含义

在 HPC 互联网络综述（MDPI Electronics 2022 [Lu et al.]）中，super-node 被明确定义为 fat-tree 拓扑的第一层：

"The topology is divided into three levels. The first layer is the super node layer, and the nodes inside each super node are connected by a high bandwidth switch." 来源：PJ Lu et al., "A survey of high-performance interconnection networks", Electronics, 2022 (Cited by 62)

在 2025 IEEE Advanced Information Conference 论文 "Research on the Scale-Up Network for AI" (Lin et al., 2025) 中：

5.2 顶会关键研究方向（2022-2026）

学术界对超节点相关问题的关注焦点

顶会	研究方向	代表性工作
ISCA/MICRO	Die-to-die 互联、Chiplet、CPO	UCIe 标准, Ayar Labs TeraPHY
HPCA	Rack-scale 内存层级、KV Cache 池化	Apache Squirrel, InfiniCache
SC/HPDC	大规模 GPU 集合通信、拓扑	NVLink Switch, dragonfly routing
MLSys/SoCC	超节点级调度、资源解耦	Google Pathways, Microsoft DeepSpeed
OSDI/SOSP	超节点 RAS、容错	Llama 3.1 万卡故障研究

学术界与产业界的术语 gap：工业界说"超节点"，学术界说"rack-scale computer"。但 2025-2026 年上海 AI 实验室《超节点技术体系白皮书》正在填补这个 gap — 尝试把分散的工程实践形式化为一套"系统级分析框架"。

5.3 上海 AI 实验室白皮书 — 学术-产业桥梁

白皮书的核心贡献：定义了超节点的多维分析框架，围绕"芯片+互联+软件"的系统级方案，将算力竞争从芯片级转向系统级。并规划了四步走：
认知 → 评价（超节点能力指数）→ 验证（仿真平台）→ 标准（接口规范） 来源：上海AI实验室《超节点技术体系白皮书》 (2026.3.31, 浦江AI学术年会)

白皮书联合 8 所高校 + 16 家产业伙伴（沐曦、天数智芯、曦望、奇异摩尔、盛科通信、阶跃星辰等），覆盖芯片/互联/软件/大模型训练全链条。

六、行业标准：UALink / UEC / OCP

三大开放标准组织的"超节点"规模定义

标准组织	文件	超节点规模定义	关键指标
UALink Consortium	UALink 1.0 Spec (2025.4), 2026.1 update	single-hop rack-scale domain up to 1,024 accelerators per pod	200 Gbps/lane, 212.5 GT/s, <1μs RTT
Ultra Ethernet Consortium (UEC)	UEC 1.0/1.0.2 (2025-2026)	百万级端点 scale-out	基于 IEEE 802.3dj (200G/lane), PDS 控制
OCP (Open Compute Project)	OAM + UBB (2022-)	8 accelerators/UBB; 多 UBB/rack	物理/电源/散热/管理接口标准化

来源：UALink 1.0 Specification Overview, OCP OAM spec

UALink 的定义意义：这是目前唯一一个在标准文件中明确定义"scale-up domain 规模上限"的组织：1,024 加速器 / single-hop rack-scale domain。这成为开放生态阵营的"千卡超节点新基准"（共熵语）。

七、指标体系：行业用什么指标衡量超节点？

综合华为白皮书、共熵 5 维度框架、NVIDIA/Google 官方规格，提炼出行业共识的超节点指标体系：

维度 1：规模指标 — "超节点有多大？"

指标	单位	说明	业界典型值
加速器数量 (#GPUs/NPUs/TPUs)	个	单超节点内 AI 处理器总数	72 (NVIDIA SU) / 256 (Google Pod) / 384 (华为) / 1024 (UALink上限)
每台节点加速器数	个/node	节点级集成密度	4 (NVIDIA tray) / 8 (Google host) / 8 (典型)
节点数	个	单超节点包含的计算节点	18 (NVIDIA SU) / 32 host (Google 256-ch Pod)
机架数	rack	物理跨度	1-2 (典型) / 跨柜扩展

维度 2：互联指标 — "超节点内部'粘合'得多紧密？"（最核心）

指标	单位	说明	业界典型值
per-GPU scale-up 带宽	GB/s per GPU	每加速器到交换 fabric 的带宽	1800 (NVLink 5.0) / 800 (Google ICI) / "≥400" (华为定义基线)
聚合 bisection 带宽	TB/s	超节点 fabric 总对分带宽	130 (NVIDIA SU) / 3.2 (Google Pod, 注意这是 bisection 非 all-reduce)
Pod 级 all-reduce 带宽	TB/s	集合通信聚合带宽	102.4 (Google v6e) / 51.2 (Google v5e)
交换时延	ns	交换机单跳时延	<500 (华为定义基线) / 200 (昇腾384)
拓扑直径	hops	任意两加速器间最大跳数	1 (all-to-all NVSwitch) / 2torus_diameter (Google 2D torus: 32 for 16×16)
互联协议	-	协议类型（封闭/开放）	NVLink(封闭) / UALink(开放) / ICI(私有) / HCCS+灵衢(开放)
内存统一编址	是/否	域内全局 UVA + Load/Store 语义	必备特征（华为定义）

来源：华为白皮书 p.15, NVIDIA components docs, Google v6e docs

维度 3：算力指标 — "超节点能算多少？"

指标	单位	说明	业界典型值
FP8/BF16 峰值算力	PFLOPS/EFLOPS	单超节点聚合峰值	8 EFLOPS FP8 (华为 Atlas 950) / 234.9 PFLOPS bf16 (Google v6e Pod)
MFU (Model FLOPs Utilization)	%	实测算力利用率	业界标杆 ~50-60%; 华为昇腾 3x vs 传统 (MoE场景)
HBM 总容量	TB	超节点加速器内存总计	~10.5 TB HBM3 (NVIDIA 72 B300: 4×1152GB×18 nodes... 实际 72×288GB=20.7TB)
HBM 带宽	TB/s	内存读取总带宽	由 per-GPU HBM bw × GPU数决定

维度 4：能效/物理指标 — "超节点要花多少电、占多大空间？"

指标	单位	说明	业界典型值
机架功耗	kW/rack	单超节点最大功耗	142 kW/rack (NVIDIA GB300 NVL72) / 33 kW/shelf × 8
冷却方式	-	风冷/液冷	液冷 (100kW+ 机架必须)
PUE (机架级)	-	能源使用效率	1.05-1.15 (先进液冷)
FLOPS/W	-	能效比	前沿目标持续上升
HBM 容量	TB	超节点加速器内存总计	~10.5 TB HBM3 (NVIDIA 72 B300: 4×1152GB×18 nodes... 实际 72×288GB=20.7TB)

维度 5：可靠性/运维指标 — "超节点能跑多久不出问题？"

指标	单位	说明	业界典型值
MTBF	hours	平均故障间隔	Llama 3.1 万卡训练: 平均 3h/次故障
RAS 体系	-	Reliability-Availability-Serviceability	器件/网络/系统三级 (华为)
故障域大小	个	单次故障影响范围	1 节点 / 1 超节点 / 1 作业
故障恢复时间	min	分级恢复	秒级(算子级) / 分钟级(节点级)

来源：华为白皮书 p.18-20, Llama 3.1 Herd of Models 研究

维度 6：调度/经济指标 — "超节点作为资源的分配单位"

指标	单位	说明	业界典型值
最小分配粒度	-	云商可租的最小单位	1/256 ~ 1 Pod (Google), 1 SU (NVIDIA), 1/384 超节点 (华为)
弹性伸缩边界	-	同构/异构伸缩范围	逻辑切分 (华为) / slice (Google)
TCO/Token	$/token	每 token 成本	核心经济指标，各厂未公开
MFU (利用率)	%	vs 峰值算力的有效利用率	训练 50-60%; 推理 20-40%

7.1 共熵的"综合效能基准指标体系"

共熵（产业与标准创新）服务中心在《超节点算力革命》系列中提出的 5 维度 框架是目前最结构化的公开指标体系：

综合效能基准指标体系：
① 算力 — 峰值/实测/MFU
② 网络 — 带宽/时延/拓扑/协议收敛
③ 存储 — 显存层级/带宽/容量/池化
④ 稳定性与能效 — MtBF/RAS/功耗/PUE/冷却
⑤ 运维 — 可观测性/自动化/故障预测来源：共熵服务中心《超节点算力革命(八)》 (2026.3.18)

八、指标横向对比矩阵

指标	NVIDIA GB300 NVL72 (SU)	华为昇腾 384	Google TPU v6e Pod	UALink 1.0 标准
加速器数	72 B300 GPUs (SU) 576 (8 Racks)	384 NPUs → 8192 (规划)	256 TPU v6e	≤1024 / domain
互联协议	NVLink 5.0 (封闭)	HCCS + 灵衢 UB (开源)	ICI (专有)	UALink (开放)
per-GPU 带宽	1800 GB/s	≥400 GB/s	800 GB/s (ICI)	200 Gbps/lane × 4 channel
聚合带宽	130 TB/s (rack)	-	102.4 TB/s (all-reduce)	-
交换时延	~1-2 μs (NVLink 4实测)	<500 ns (200ns单跳)	-	<1 μs RTT
内存统一编址	✅ (UVA)	✅ (全局编址)	✅	✅
拓扑	all-to-all non-blocking (NVSwitch)	多级交换	2D torus	单跳 rack-scale
机架功耗	142 kW	-	-	-
冷却	液冷	液冷	-	-
调度单位	SU / NVLink Partition	逻辑超节点切分	Slice (9种拓扑)	Pod
峰值算力	~312 PFLOPS (FP8, est.)	8 EFLOPS FP8 (Atlas 950)	234.9 PFLOPS (bf16)	-

来源综合：NVIDIA Enterprise RA docs, 华为云白皮书, Google Cloud TPU v6e docs, UALink Consortium

九、趋势研判与启示

9.1 超节点定义的演进趋势

判断：超节点正在从"行业概念"走向"标准化定义"

规模收敛到 1024 基准：UALink 1.0 将单超节点规模锚定在 1024 加速器，厂商产品（384/256/128）正在向此基准靠拢
三大阵营格局已成：① NVIDIA 封闭 NVLink 生态 — 极致性能；② 华为灵衢/昇腾 — 开源开放，中国标准；③ UALink 开放联盟 — 行业公共标准
从电到光：CPO/NPO 将重塑超节点内部互联，"全光大平层"取代胖树
软硬定义正在反转：过去由 GPU 定义超节点（NVLink Domain）；未来可能由互联协议定义超节点（UALink domain），GPU 成为可插拔部件
调度单位 = 超节点：未来云的计费/租赁单位将不再是 vCPU/vGPU，而是"超节点·小时"

9.2 对芯片/系统/算法研究者的启示

① 芯片设计者视角：NVLink/UALink/HCCS 的差异决定了片上 NoC 和 IO 架构。per-GPU 带宽 400/800/1800 GB/s 三档正在分化芯片 pin 预算和封装方案。C2C (Chip-to-Chip) 互联 (NVLink-C2C 1.8TB/s, UCIe) 成为超节点芯片的必要非充分条件。

② 系统架构者视角：超节点的故障域大小决定了 checkpoint 策略。Llama 3.1 实测"万卡每 3h 一故障"意味着 RAS 不再是附加项而是核心指标。逻辑切分/弹性调度能力（9 种 Google slice / 华为逻辑超节点）是超节点系统架构的差异化竞争力。

③ 算法/MoE 训练者视角：超节点内 TP/EP 并行域的大小决定了模型切分策略。昇腾 384 在 MoE 上 "64卡EP并行" 的跨机通信瓶颈消除后，MFU 提升 3×。超节点规模直接决定可训练的 MoE 模型规模上限。Single-hop 低时延（200ns vs 2μs）让 EP all-to-all 不再是瓶颈。

9.3 仍开放的проблем

附录 A：全部来源清单

A1 制造商官方文件

NVIDIA NVL72 AI Factory — Enterprise Reference Architecture (含 abstract/components/terminology 页)
华为云《超节点发展报告》PDF (31页, 中国电子技术标准化研究院/GCC/国家信息中心联合编写)
Google Cloud TPU v6e 官方文档 (2026.7.10 更新)
Google Cloud TPU v5e
Google TPU machines — v5p Pod=8960 chips
UALink 1.0 Specification Overview

A2 学术与行业白皮书

上海AI实验室《超节点技术体系白皮书》 (智东西/知乎, 2026.3.31)
新浪财经：智赋算力领航AI — 超节点技术体系白皮书
共熵服务中心《超节点算力革命(八) | 超节点发展趋势探讨》 (2026.3.18)
XC Lin et al., "Research on the Scale-Up Network for AI", IEEE 2025
PJ Lu et al., "A survey of high-performance interconnection networks", MDPI Electronics 2022 (Cited by 62)

A3 已下载本地文件

sources/hyperscaler/huawei_supernode_report.pdf — 华为云《超节点发展报告》(5MB, 31页)
sources/manufacturer/nvidia_nvl72_abstract.txt — NVIDIA NVL72 官方 abstract
sources/manufacturer/nvidia_nvl72_terminology.txt — NVIDIA 术语表 (NVLink Domain 等定义)
sources/manufacturer/nvidia_nvl72_components.txt — NVIDIA GB300 NVL72 完整组件规格
sources/hyperscaler/google_tpu_v6e.txt — Google TPU v6e 完整规格表
sources/manufacturer/nvidia_nvl72_ref.pdf — ZTE 新型智算 PDF

附录 B：术语中英对照

中文术语	英文对应	使用方
超节点	Super-Node / Scale-Up Domain / Rack-scale Computer	华为/中国产业界英译
可扩展单元	Scalable Unit (SU)	NVIDIA
NVLink 域	NVLink Domain	NVIDIA
加速器 Pod	Accelerator Pod	UALink Consortium
机架级计算机	Rack-scale Computer	学术界
聚合网络	Scale-Up Network / Scale-Up Domain	学术界
计算托盘	Compute Tray / Node	NVIDIA
TPU Pod	TPU Pod	Google
互联协议收敛	Protocol convergence (NVLink vs UALink vs ICI)	行业分析
内存统一编址	Unified Virtual Addressing (UVA) / Load-Store semantics	产业界共识
共封装光学	CPO (Co-Packaged Optics) / NPO	光互联行业