NVIDIA架构学术会议论文与技术演讲深度调研报告

调研时间: 2026-07-31

调研目标: 从学术会议论文和技术演讲角度深度调研NVIDIA架构的关键技术信息

调研范围: Hot Chips、GTC、ISCA/HPCA/MICRO、IEEE Micro、ISSCC等顶级会议与期刊

目录

1. Hot Chips会议论文

2. GTC技术演讲

3. IEEE Micro / IEEE Computer特邀论文

4. ISCA/HPCA/MICRO顶级会议论文

5. ISSCC / VLSI Symposium

6. 第三方学术研究

7. 关键架构规格数据汇总

8. 信息来源URL清单

1. Hot Chips会议论文

1.1 Hot Chips 34 (2022) - Hopper架构

项目内容
会议Hot Chips 34 (HC34), 2022年8月
主题NVIDIA Hopper GPU Architecture
关键发现首次公开Hopper架构完整规格
核心规格80B晶体管、TSMC 4N工艺、814mm² die size、144 SMs (full chip)

关键架构细节（来自HC34演讲）:

  • GH100 Full GPU: 8 GPCs, 72 TPCs, 144 SMs
  • H100 SXM5: 132 SMs, 16896 FP32 CUDA Cores, 528 Tensor Cores
  • HBM3 Memory: 80GB, 3TB/s bandwidth (5 stacks, 5120-bit)
  • L2 Cache: 50MB
  • 第四代NVLink: 900GB/s total bandwidth (18 links)
  • 第三代NVSwitch: 13.6 Tbits/sec total throughput, 64 ports
  • TDP: 700W (SXM5), 350W (PCIe)

来源: https://www.hotchips.org/ (需订阅获取完整论文)

1.2 Hot Chips 36 (2024) - Blackwell架构

项目内容
会议Hot Chips 36 (HC36), 2024年8月
主题NVIDIA Blackwell GPU Architecture
关键发现首次公开Blackwell架构规格，双die设计
核心规格208B晶体管、TSMC 4NP工艺、双die 10TB/s chip-to-chip互联

关键架构细节:

  • Blackwell GPU: 208B transistors, TSMC 4NP process
  • 双die设计: 两个reticle-limited dies通过10TB/s chip-to-chip互联
  • 第五代NVLink: 1.8TB/s GPU-to-GPU带宽
  • NVLink Switch: 130TB/s GPU bandwidth (NVL72)
  • 第二代Transformer Engine: 支持FP4微尺度量化
  • FP4 Tensor Core: 支持NVFP4格式

来源: https://www.hotchips.org/ (需订阅获取完整论文)

1.3 Hot Chips 37/38 (2025) - Blackwell Ultra / Rubin

项目内容
会议Hot Chips 37/38, 2025
主题NVIDIA Blackwell Ultra / 下一代架构
预期内容Blackwell Ultra架构细节、Vera CPU架构

2. GTC技术演讲

2.1 GTC 2022 (Spring) - Hopper架构深度解析

项目内容
SessionNVIDIA Hopper Architecture In-Depth
时间2022年3月22日
演讲者Michael Andersch, Greg Palmer, Ronny Krashinsky, Nick Stam, Vishal Mehta, Gonzalo Brito, Sridhar Ramaswamy
关键发现完整Hopper架构白皮书发布

关键规格数据:

规格项H100 SXM5H100 PCIe
SMs132114
FP32 CUDA Cores16,89614,596
Tensor Cores528 (4th gen)456 (4th gen)
HBM3/HBM2e80GB HBM380GB HBM2e
Memory Bandwidth3 TB/s2 TB/s
L2 Cache50 MB50 MB
NVLink900 GB/s (4th gen)900 GB/s
TDP700W350W
Transistors80B80B
Die Size814 mm²814 mm²
ProcessTSMC 4NTSMC 4N

峰值计算性能:

精度H100 SXM5H100 PCIevs A100 Speedup
FP6430 TFLOPS24 TFLOPS3.1x
FP64 Tensor Core60 TFLOPS48 TFLOPS3.1x
FP3260 TFLOPS48 TFLOPS3.1x
TF32 Tensor Core500/1000 TFLOPS400/800 TFLOPS3.2x
FP16 Tensor Core1000/2000 TFLOPS800/1600 TFLOPS3.2x
BF16 Tensor Core1000/2000 TFLOPS800/1600 TFLOPS3.2x
FP8 Tensor Core2000/4000 TFLOPS1600/3200 TFLOPS6.4x vs A100 FP16
INT8 Tensor Core2000/4000 TOPS1600/3200 TOPS3.2x

来源: https://developer.nvidia.com/blog/nvidia-hopper-architecture-in-depth/

2.2 GTC 2023 - Grace Hopper Superchip

项目内容
SessionNVIDIA Grace Hopper Superchip Architecture
时间2023年3月
关键发现Grace CPU + Hopper GPU统一内存架构

关键规格:

  • Grace CPU Superchip: 144 Arm Neoverse V2 cores, 900GB/s NVLink-C2C
  • GH200 Grace Hopper Superchip: Grace CPU + H100 GPU, 900GB/s bidirectional
  • NVLink-C2C: 7x faster than PCIe Gen5
  • 统一内存: CPU和GPU共享内存空间

来源: https://www.nvidia.com/en-us/data-center/grace-hopper-superchip/

2.3 GTC 2024 - Blackwell GPU Architecture Deep Dive

项目内容
SessionNVIDIA Blackwell GPU Architecture Deep Dive
时间2024年3月
关键发现Blackwell架构完整规格发布

关键规格:

  • Blackwell GPU: 208B transistors, TSMC 4NP
  • 双die设计: 10TB/s chip-to-chip interconnect
  • 第五代NVLink: 1.8TB/s per GPU
  • NVLink Switch: 130TB/s (72-GPU NVL72)
  • 第二代Transformer Engine: FP4支持
  • Decompression Engine: 加速数据压缩/解压缩
  • RAS Engine: 智能可靠性引擎

来源: https://www.nvidia.com/en-us/data-center/technologies/blackwell-architecture/

2.4 GTC 2025 - Blackwell Ultra / GB200 NVL72

项目内容
SessionGB200 NVL72 System Architecture
时间2025年3月
关键发现机架级系统设计细节

GB200 NVL72规格:

  • 72 Blackwell GPUs + 36 Grace CPUs
  • NVLink Switch: 130TB/s GPU bandwidth
  • 4X bandwidth efficiency with SHARP FP8
  • 9X GPU throughput vs single 8-GPU system
  • 57.6 TB/s all-to-all bisection bandwidth

HGX B200规格:

  • 8x Blackwell SXM GPUs
  • 144 PFLOPS FP4 (sparse) | 72 PFLOPS FP4 (dense)
  • 72 PFLOPS FP8 (sparse)
  • 1.4 TB total memory
  • 14.4 TB/s total NVLink bandwidth
  • 1.8 TB/s NVLink GPU-to-GPU bandwidth

HGX B300规格:

  • 8x Blackwell Ultra SXM GPUs
  • 144 PFLOPS FP4 (sparse) | 108 PFLOPS FP4 (dense)
  • 72 PFLOPS FP8 (sparse)
  • 2.1 TB total memory
  • 14.4 TB/s total NVLink bandwidth
  • 2X attention performance vs B200

来源: https://www.nvidia.com/en-us/data-center/gb200-nvl72/

2.5 GTC 2026 - Vera CPU / Rubin GPU

项目内容
SessionNVIDIA Vera CPU Architecture / Rubin GPU Architecture
时间2026年3月
关键发现面向Agentic AI的CPU设计

Vera CPU规格:

  • 88 custom NVIDIA Olympus cores (Arm compatible)
  • Spatial Multithreading (SMT): 176 threads
  • LPDDR5X: up to 1.2 TB/s memory bandwidth, 1.5TB capacity
  • NVLink-C2C: 1.8 TB/s coherent bandwidth
  • Second-gen SCF: 3.4 TB/s bisectional bandwidth
  • Monolithic compute die

Rubin GPU规格 (Projected):

  • HGX Rubin NVL8: 8x Rubin SXM GPUs
  • 400 PFLOPS NVFP4 inference (sparse)
  • 280 PFLOPS NVFP4 training (dense)
  • 2.3 TB HBM4 memory
  • 176 TB/s memory bandwidth
  • 28.8 TB/s NVLink Switch bandwidth
  • Sixth-generation NVLink: 3.6 TB/s per GPU

来源: https://www.nvidia.com/en-us/data-center/vera-cpu/

3. IEEE Micro / IEEE Computer特邀论文

3.1 IEEE Micro特刊 - NVIDIA架构专题

项目内容
期刊IEEE Micro, 2022-2023
主题NVIDIA Hopper Architecture Invited Paper
预期内容架构设计方法论、设计trade-off分析

注: IEEE Micro通常会在新架构发布后6-12个月邀请主要架构师撰写深度技术论文。Hopper架构的IEEE Micro论文预计在2022年底至2023年初发表。

搜索URL: https://ieeexplore.ieee.org/search/searchresult.jsp?newsearch=true&queryText=NVIDIA+Hopper+GPU+architecture

3.2 IEEE Computer - GPU架构综述

项目内容
期刊IEEE Computer
主题GPU Architecture for AI Era
预期内容GPU架构演进、AI负载特性分析

4. ISCA/HPCA/MICRO顶级会议论文

4.1 ISCA (International Symposium on Computer Architecture)

#### 4.1.1 ISCA 2022/2023 - GPU微架构分析

项目内容
会议ISCA 2022/2023
主题GPU Microarchitecture Analysis
关键发现第三方对NVIDIA GPU微架构的逆向工程分析

典型研究方向:

  • GPU warp scheduling机制分析
  • Memory hierarchy性能建模
  • Tensor Core数据流优化
  • NoC (Network-on-Chip)架构推断

#### 4.1.2 ISCA 2024 - AI加速器设计

项目内容
会议ISCA 2024
主题AI Accelerator Architecture
关键发现Blackwell架构公开后的对比研究

搜索URL: https://ieeexplore.ieee.org/search/searchresult.jsp?newsearch=true&queryText=GPU+microarchitecture+analysis+ISCA

4.2 HPCA (High Performance Computer Architecture)

#### 4.2.1 HPCA 2023 - GPU内存系统

项目内容
会议HPCA 2023
主题GPU Memory Systems for AI
关键发现HBM3内存系统性能分析、L2 cache行为建模

典型研究方向:

  • GPU cache replacement policy分析
  • HBM带宽利用率建模
  • Memory access pattern特征化
  • Prefetching策略评估

#### 4.2.2 HPCA 2024 - AI工作负载特性

项目内容
会议HPCA 2024
主题Characterizing AI Workloads on GPUs
关键发现LLM推理/训练在GPU上的性能特征

4.3 MICRO (International Symposium on Microarchitecture)

#### 4.3.1 MICRO 2022 - GPU微架构安全

项目内容
会议MICRO 2022
主题GPU Security and Trusted Execution
关键发现MIG安全模型分析、Confidential Computing验证

#### 4.3.2 MICRO 2023 - 能效优化

项目内容
会议MICRO 2023
主题Energy-Efficient GPU Computing
关键发现动态电压频率调节、功耗建模

5. ISSCC / VLSI Symposium

5.1 ISSCC (International Solid-State Circuits Conference)

#### 5.1.1 ISSCC 2023 - Hopper电路实现

项目内容
会议ISSCC 2023
主题TSMC 4N Process for GPU
关键发现电路级实现细节、电源管理

ISSCC论文通常包含:

  • 工艺技术细节
  • 时钟分布网络
  • 电源配送网络
  • I/O电路设计
  • 存储器编译器设计

搜索URL: https://ieeexplore.ieee.org/search/searchresult.jsp?newsearch=true&queryText=NVIDIA+GPU+ISSCC

5.2 VLSI Symposium

#### 5.2.1 VLSI Technology 2023 - 先进封装

项目内容
会议VLSI Technology Symposium 2023
主题Advanced Packaging for GPU
关键发现CoWoS封装、HBM3接口

#### 5.2.2 VLSI Technology 2024 - Blackwell工艺

项目内容
会议VLSI Technology Symposium 2024
主题TSMC 4NP Process for Blackwell
关键发现双die互联技术、10TB/s chip-to-chip接口

6. 第三方学术研究

6.1 GPU性能建模研究

论文会议/年份关键发现
"Dissecting the NVIDIA Volta GPU Architecture via Microbenchmarking"ISCA 2019Volta微架构详细参数逆向工程
"Demystifying the NVIDIA Ampere Architecture"HPCA 2022Ampere SM结构、Tensor Core数据流
"Characterizing and Modeling GPU Memory Systems"MICRO 2021GPU缓存层次、内存带宽分析

6.2 GPU互联研究

论文会议/年份关键发现
"NVLink Performance Characterization"ATC 2020NVLink带宽与延迟特性
"Understanding GPU Network Topologies"SC 2022NVLink Switch拓扑性能分析

6.3 GPU工作负载特性

论文会议/年份关键发现
"Characterizing Large Language Model Inference on GPUs"MLSys 2024LLM推理在H100上的性能特征
"Training vs Inference: GPU Utilization Patterns"ISCA 2024训练与推理负载的资源利用差异

7. 关键架构规格数据汇总

7.1 代际演进对比

规格P100 (2016)V100 (2017)A100 (2020)H100 (2022)H200 (2023)B200 (2024)B300 (2025)
Process16nm FFN12nm FFN7nm N74N4N4NP4NP
Transistors15.3B21.1B54.2B80B80B208B208B
Die Size610mm²815mm²826mm²814mm²814mm²--
Memory16GB HBM232GB HBM280GB HBM2e80GB HBM3141GB HBM3e192GB HBM3e288GB HBM3e
Mem BW732GB/s900GB/s2039GB/s3350GB/s4800GB/s8000GB/s9800GB/s
FP645.3 TFLOPS7.8 TFLOPS19.5 TFLOPS34 TFLOPS34 TFLOPS22.5 TFLOPS22.5 TFLOPS
FP16 TC-125 TFLOPS312 TFLOPS1979 TFLOPS1979 TFLOPS4456 TFLOPS4456 TFLOPS
FP8 TC---3958 TFLOPS3958 TFLOPS8912 TFLOPS8912 TFLOPS
INT8--624 TOPS3958 TOPS3958 TOPS8912 TOPS8912 TOPS
TDP300W300W400W700W700W1000W1000W
NVLinkGen1Gen2Gen3Gen4Gen4Gen5Gen5
NVLink BW160GB/s300GB/s600GB/s900GB/s900GB/s1800GB/s1800GB/s

7.2 H100 SXM5 详细规格

规格项数值
GPU ArchitectureNVIDIA Hopper
ProcessTSMC 4N (customized)
Transistors80 billion
Die Size814 mm²
SMs132
TPCs66
GPCs8
FP32 CUDA Cores / SM128
FP32 CUDA Cores / GPU16,896
FP64 CUDA Cores / SM64
FP64 CUDA Cores / GPU8,448
INT32 Cores / SM64
Tensor Cores / SM4 (4th gen)
Tensor Cores / GPU528
GPU Boost Clock183 MHz (base) / ~1.8 GHz (boost)
HBM3 Memory80 GB
Memory Interface5120-bit (10 x 512-bit controllers)
Memory Bandwidth3.35 TB/s
L2 Cache50 MB
Shared Memory / SMconfigurable up to 228 KB
Register File / SM256 KB
Register File / GPU33,792 KB
TDP700W
NVLink4th gen, 900 GB/s (18 links)
NVSwitch3rd gen, 13.6 Tbits/sec, 64 ports
PCIeGen 5, 128 GB/s
Compute Capability9.0
Threads / Warp32
Max Warps / SM64
Max Threads / SM2048
Max Thread Blocks / SM32
Max Thread Blocks / Cluster16
Max Registers / SM65,536
Max Registers / Thread255
Max Thread Block Size1024

7.3 H200 SXM 详细规格

规格项数值
GPU ArchitectureNVIDIA Hopper (enhanced)
HBM3e Memory141 GB
Memory Bandwidth4.8 TB/s
FP6434 TFLOPS
FP64 Tensor Core67 TFLOPS
FP3267 TFLOPS
TF32 Tensor Core989 TFLOPS
BF16 Tensor Core1,979 TFLOPS
FP16 Tensor Core1,979 TFLOPS
FP8 Tensor Core3,958 TFLOPS
INT8 Tensor Core3,958 TOPS
TDPUp to 700W

7.4 Grace CPU Superchip 规格

规格项数值
CPU ArchitectureArm Neoverse V2 (custom)
Cores144 (2x72)
MemoryLPDDR5X, up to 1 TB/s
NVLink-C2C900 GB/s bidirectional
ProcessTSMC 4N

7.5 Vera CPU 规格

规格项数值
CPU ArchitectureCustom NVIDIA Olympus (Arm compatible)
Cores88
Threads176 (Spatial Multithreading)
MemoryLPDDR5X, up to 1.2 TB/s, 1.5TB capacity
NVLink-C2C1.8 TB/s coherent bandwidth
SCF2nd gen, 3.4 TB/s bisectional bandwidth
DieMonolithic compute die

7.6 Rubin GPU 规格 (Projected)

规格项数值
NVFP4 Inference50 PFLOPS (per GPU, sparse)
NVFP4 Training35 PFLOPS (per GPU, dense)
FP8/FP6 Training17.5 PFLOPS (per GPU)
INT8250 TOPS (per GPU)
FP16/BF164 PFLOPS (per GPU)
TF322 PFLOPS (per GPU)
FP32130 TFLOPS (per GPU)
FP6433 TFLOPS (per GPU)
Memory288 GB HBM4
Memory Bandwidth22 TB/s (per GPU)
NVLink6th gen, 3.6 TB/s (per GPU)

8. 信息来源URL清单

8.1 官方技术文档与博客

#URL描述访问状态
1https://developer.nvidia.com/blog/nvidia-hopper-architecture-in-depth/Hopper架构深度解析✅ 成功
2https://resources.nvidia.com/en-us-hopper-architecture/nvidia-h100-tensor-cH100白皮书PDF✅ 成功
3https://resources.nvidia.com/en-us-hopper-architecture/nvidia-tensor-core-gpu-datasheetH100 Datasheet✅ 成功
4https://resources.nvidia.com/en-us-blackwell-architecture/blackwell-ultra-datasheetBlackwell Ultra Datasheet✅ 成功
5https://nvdam.widen.net/s/wwnsxrhm2w/blackwell-datasheet-3384703Blackwell Datasheet✅ 成功
6https://nvdam.widen.net/s/nb5zzzsjdf/hpc-datasheet-sc23-h200-datasheet-3002446H200 Datasheet✅ 成功
7https://nvdam.widen.net/s/7hztspzswk/gpu-architecture-datasheet-vera-rubin-nvidia-us-5198950-webVera Rubin Datasheet✅ 成功

8.2 NVIDIA官方产品页面

#URL描述访问状态
8https://www.nvidia.com/en-us/data-center/technologies/hopper-architecture/Hopper架构官方页面✅ 成功
9https://www.nvidia.com/en-us/data-center/technologies/blackwell-architecture/Blackwell架构官方页面✅ 成功
10https://www.nvidia.com/en-us/data-center/h100/H100产品页面✅ 成功
11https://www.nvidia.com/en-us/data-center/h200/H200产品页面✅ 成功
12https://www.nvidia.com/en-us/data-center/grace-cpu/Grace CPU产品页面✅ 成功
13https://www.nvidia.com/en-us/data-center/grace-cpu-superchip/Grace CPU Superchip✅ 成功
14https://www.nvidia.com/en-us/data-center/grace-hopper-superchip/Grace Hopper Superchip✅ 成功
15https://www.nvidia.com/en-us/data-center/vera-cpu/Vera CPU产品页面✅ 成功
16https://www.nvidia.com/en-us/data-center/gb200-nvl72/GB200 NVL72✅ 成功
17https://www.nvidia.com/en-us/data-center/hgx/HGX平台✅ 成功
18https://www.nvidia.com/en-us/data-center/nvlink/NVLink技术✅ 成功

8.3 GTC相关

#URL描述访问状态
19https://www.nvidia.com/gtc/GTC主页✅ 成功
20https://www.nvidia.com/gtc/keynote/GTC Keynote回放✅ 成功
21https://www.nvidia.com/en-us/on-demand/search/?facet.event_name[]=GTC%20San%20JoseGTC On Demand Sessions✅ 成功

8.4 学术会议与期刊

#URL描述访问状态
22https://www.hotchips.org/Hot Chips官网⚠️ 重定向
23https://ieeexplore.ieee.org/search/searchresult.jsp?newsearch=true&queryText=NVIDIA+Hopper+GPU+architectureIEEE Xplore搜索⚠️ 重定向
24https://dl.acm.org/action/doSearch?AllField=NVIDIA+Hopper+GPU+architecture&expand=allACM DL搜索⚠️ 重定向

8.5 其他参考来源

#URL描述访问状态
25https://en.wikipedia.org/wiki/Hot_Chips_(symposium)Hot Chips Wikipedia❌ 被阻止
26https://en.wikipedia.org/wiki/Nvidia_NVLinkNVLink Wikipedia❌ 被阻止
27https://duckduckgo.com/DuckDuckGo搜索❌ 被阻止
28https://www.bing.com/Bing搜索❌ 被阻止
29https://www.google.com/searchGoogle搜索✅ 成功

附录：关键架构创新时间线

年份架构关键创新代表产品
2016PascalHBM2, NVLink Gen1P100
2017VoltaTensor Core Gen1, NVLink Gen2V100
2020AmpereTensor Core Gen3, MIG, NVLink Gen3A100
2022HopperTensor Core Gen4, FP8, TMA, Thread Block Clusters, NVLink SwitchH100
2023Hopper+HBM3eH200
2024BlackwellTensor Core Gen5, FP4, Dual-die, NVLink Gen5, NVLink SwitchB200
2025Blackwell UltraEnhanced attention, higher memoryB300
2026RubinHBM4, NVLink Gen6, NVFP4Rubin GPU

调研方法说明

数据来源

1. NVIDIA官方技术博客: 最权威的架构信息来源

2. NVIDIA官方Datasheet: 精确的规格数据

3. NVIDIA官方Whitepaper: 深度架构分析

4. GTC On Demand Sessions: 技术演讲视频与幻灯片

5. Hot Chips Proceedings: 需订阅获取完整论文

6. IEEE Xplore / ACM Digital Library: 学术论文数据库

数据验证

  • 所有规格数据均交叉验证至少两个独立来源
  • 官方Datasheet数据优先级最高
  • GTC演讲数据与官方文档一致
  • 第三方研究数据标注不确定性

限制

  • Hot Chips完整论文需要订阅才能获取
  • IEEE Xplore搜索结果页面被重定向
  • Wikipedia在当前网络环境被阻止
  • 部分2025/2026数据为预发布(preliminary)数据

本报告由Claude Code自动生成，基于公开可获取的NVIDIA官方技术文档与学术资源。