📘 vLLM 架构分析

一份统一 12 章的深度报告,覆盖软件架构第一性原理、执行热路径、KV-Cache、分布式、编译图、Ascend Overlay 与性能手册。

NEW · 专题深度

百万序列 Prefill:vLLM 如何解决 + 仍开放的难题

44 KB · 12 章 · 6 条技术路线 + D卡缓冲内存分配专题 (KV Cache 即 Buffer / 1M token = 1.15 GB / 多请求并发模型 / NIXL vs Mooncake) · vLLM 上游 + Ascend 双仓库 · 全 file:line 溯源

全模块分析

vllm_ascend_architecture_full.html

35 KB · 442 文件 / 127k 行全覆盖 · 6 agent 并行切片 · 围绕 5 个核心问题: 为什么需要 / 设计问题 / 工程挑战 / 6层Overlay / 全模块源码 · 含 EPLB / Attention 5变体 / ACL Graph / 310P / Patch 分类学

主报告 · 12 章

vllm_architecture_unified.html

37 KB · 合并 spine + L1–L4 agent + 软件/物理第一性原理 + Performance Handbook + Ascend 文档 + Community pulse · 每节 source: 溯源锚点 · §11 全 file:line 索引

专题 · NEW

HBM 索引架构设计

28 KB · 为什么 HBM 索引发到 worker / 两种 SlotMappingMode / DeepSeek V4 三通道索引设计 · 含 Scheduler↔Worker 契约图 · 全 file:line 溯源


12 章总览

§章核心
0Overview & v0→v1v0 4 条缠结→v1 拆分根因
1Software-Architecture First Principles"按变化速率切"公理 + 8 模块职责表 + 跨合约表
2Architecture LayersEngineCore / Scheduler / Worker / ModelRunner / Attention / Platform / Compilation
3Execution Hot Pathschedule → 5 阶段 forward + slot_mapping 页表 walk
4KV-Cache (4-layer)Manager / Coordinator / BlockPool / Connector (MLA forcing)
5Parallel & DistributedTP/PP/DP/EP + CP + EPLB + PD disagg
6Compilation & GraphFULL/PIE/eager + ACL Graph diff + 70 fusion + 10+ 量化
7Ascend Overlay5 后段 / ACL 图 / KV-Pool 3-backend / EPLB / patch 层
8Perf HandbookOS → allocator → HCCL(AIV) → fusion + 特性互斥表
9Generic HW-Adaptation Playbook8 步 + MUST/SHOULD/NICE + fork/plugin/patch 决策
1090-Day Pulse~1060 commit 主题分布 + 5 条进阶物理
11References & Drill Anchorsfile:line 全索引 + 外链

推荐阅读路径


历史原件 (保留)

目录内容
_archived/arch_analysis_round1/round-1: spine + L1–L4 agent + FP + community_dive
_archived/analysis_dsa_round2/round-2: vllm_ascend_dsa_analysis + kvcomp 稀疏谱系
_archived/ascend_arch_round3/round-3: platform/worker/attention/distributed 6 章
_raw/copy 备份

vLLM ffc4f08c8 · Ascend 39d1cf9b3 · 统一 2026-07-18 · HBM 索引 2026-07-21 · 百万 Prefill 专题 2026-07-27