MLSys 2026 · 深度综合报告
📅 会议：第 9 届 Conference on Machine Learning and Systems · Bellevue, WA · 2026/05/18–22
执行摘要：MLSys 2026 的六大信号
一句话判断： 2026 年的 MLSys 站在一个历史性转折点上——单层优化的边际收益触底，栈级协同与硬件多样性成为新的增长引擎；同时，"批判性转向"（批判 PD 分离、批判 speculative decoding、批判 MoE 便宜论）标志着这门学科从 hype 走向工程现实主义。
信号 1 · 栈级协同是唯一出路（Stack Co-design）
Keynote 中 Vahdat (Google) 与 Kozyrakis (NVIDIA/Stanford) 从工业与学术两端撞出同一结论；在论文侧，Dataflow Is All You Need 、SHIP 、SuperInfer 、FlashAttention-4 、TokenWeave 、ParallelKittens 各自在不同层级验证：单层优化窗口在收窄，跨层收益在扩大 。
信号 2 · "同步税"（Synchronization Tax）成为跨论文的第一性瓶颈
这是本报告最重要的发现——多组看似独立的论文，在深挖后收敛到同一根因：GPU 体系的同步原语物理开销决定了 decode 的天花板 。Dataflow、SHIP、Speculative Decoding Illusion、TokenWeave、NoC collective-capable 分别从架构、编译器、调度、网络五个角度围剿这一税。
信号 3 · 存储层级在三个方向上被重写
SRAM-distributed（SHIP）、C2C 作为扩展 HBM（SuperInfer）、SSD 作为第三级显存（GriNNder）、向量索引通过重算换存储（LEANN）、Reasoning 模型 KV 选择性跳过（SkipKV）——"存储层级"不再是固定硬件，而是被系统与编译器重新定义的编排对象 。
信号 4 · 通信范式从 Collective 到 P2P 的范式转移
fabric-lib 是这一转移的"IMMCOUNTER 时刻"；PD 分离论文（Beyond the Buzz）给出了转移的适用边界；SAKURAONE 证明开放以太网在中等规模已可替代 IB。三者构成"为什么转 / 何时转 / 在哪转" 的完整论证链。
信号 5 · "批判性转向"——MLSys 走向工程现实主义
三篇"反主流"论文罕见地同场出现：Beyond the Buzz （PD 分离泼冷水）、Speculative Decoding: Performance or Illusion? （SD 在 production 是 illusion）、MoE Serving Tax （量化 MoE 六类税）。这不是矛盾，而是学科成熟的标志：从"能不能做"到"值不值得做" 。
信号 6 · 训练框架的分叉——JAX 模块化 vs PyTorch 灵活性
AXLearn (Apple/JAX) 与 veScale-FSDP (ByteDance/PyTorch DTensor) 在同一时间点、不同基座上重构训练系统的抽象。这场"路线之争"的走向，将深刻影响未来 3 年的训练基础设施生态。
第一部分 · Keynote & 论文研究重点
每项给出研究重点 （问题 → 核心洞察 → 关键结论），并链接到已有的逐篇深度报告与 PDF 全文。点击标题打开本地深度报告。
🎤 5 场 Keynote 研究重点
K1 · Mark Saroufim — When AI Starts Writing Systems Code 周一
研究重点： AI 写 GPU kernel 的能力已 production-ready，但瓶颈在
评估基础设施而非模型本身 。当代码生成成本趋零，价值上移到"可验证的基准 + 数据飞轮"。
核心主张： 研究人员的杠杆点不再是写更多代码，而是建评估与数据飞轮。
详见本地 深度笔记 · 5场综合
K2 · Lidong Zhou — The Next Horizon: From MLSys to System Intelligence 周二
研究重点： 把 AI 从"被加速的对象"提升为"系统设计/演化的参与者"，重写 specification → design → validation → evolution 全生命周期。
核心主张： 系统这门工艺学科正被 AI 改造，未来会更接近一门"具有形式化骨架的科学"。
详见 深度笔记
K3 · Amin Vahdat — Google AI & Infrastructure 周三
研究重点： Hyperscaler 视角下 AI 基础设施的真实工程上限（硅 / DC / 网络 / 软件全栈）。 Google 已将 TPU + Jupiter 网络 + Borg 调度 + Gemini 模型当一个整体迭代。
核心主张： 全栈协同已从可选项变为必选项。
详见 深度笔记 （⚠ 官方未发 abstract，含推测标记）
K4 · Luke Zettlemoyer — Rethinking Pretraining: Data and Architecture 周四
研究重点： 模型能力几乎完全来自预训练数据，alignment 只是行为控制器；BPE 该被字节级架构（BLT）替代；BTM 把"哪份数据训哪些参数"做成可隔离模块。
核心主张： Data 才是真正的架构——当生成成本变低时，验证和数据成为新的稀缺资源。
详见 深度笔记
K5 · Christos Kozyrakis — The Path to Inference Efficiency 周五
研究重点： Agentic AI 推理负载逼近天花板；硅 + 系统 + 模型必须 co-design 才有大收益。长上下文、多轮工具调用、KV cache 跨请求复用——传统 vLLM/SGLang 的请求隔离架构正被 agentic 工作负载冲击。
核心主张： 从硬件假设到调度器需要一起重做。
详见 深度笔记
📄 19 篇论文研究重点（按主题分组）
🔧 ML 编译器 / 内核（4 篇）
问题： GPU decode 阶段仅榨出 ~21% HBM 带宽，kernel launch / 同步 / 计算-通信无法重叠是根因。
核心洞察： "同步原语的物理开销与可重叠性"才是真正瓶颈——GPU 同步 = HBM counter 读写 = 数百 µs；SN40 同步 = on-chip 握手 = ns 级。
关键结论： 通过 KernelLooping + BatchStreaming + ScheduleOffloading，在 Dense/MoE/混合模型上达
75%+ roofline ，SD 端到端
6× ，对 H100 1.7× 吞吐。
📥 PDF ·
📝 深度报告
问题： Blackwell 非对称硬件缩放——tensor core 2.25 PFLOPS 但 SMEM 带宽 / MUFU 吞吐几乎不变，FA-3 范式不再最优。
核心洞察： 每代 GPU 都需从 roofline 出发重新设计算法；"借用空闲单元"（FMA 仿真 2^x）是把 exp 算力扩数倍的直接武器。
关键结论： B200 上对 cuDNN 9.13 快 1.1–1.3×，对 Triton 快 2.1–2.7×，峰值
1613 TFLOPS（71%） ；编译时间减少
20–30× 。
📥 PDF ·
📝 深度报告
问题： AMD GPU 被 CUDA moat 锁死在"手调汇编"生产路径上。
核心洞察： "Tile 抽象是跨厂商可迁移的"——前端（tile + bulk ops + grid schedule）一致，后端（register pin / LDS swizzle / wave 调度）专属。Wave specialization 在 AMD 上不工作（硬件 lottery）。
关键结论： ~500 行 C++ DSL 在 MI325X/MI355X 上打平 AMD 手写汇编 AITER，d=64 attention / GQA backward 等长尾 workload
反超 1.2×–10× 。
📥 PDF ·
📝 深度报告
问题： multi-GPU 通信已超 intra-GPU 内存访问成为瓶颈（算力↑7.2×，通信仅 ↑2-3×），但现有方案要么手调单算子，要么编译器不收敛。
核心洞察： 用一组
可复用原则 系统推导最优 multi-GPU kernel——分解出传输机制、调度、设计开销三因子，仅 8 个 tile 原语 + 4-worker 模板。
关键结论： DP/TP 比 non-overlap 快 1.06–1.68×，比 Triton-Distributed 快
1.07–5.63× ；大 K 下不可重叠通信压到
<1% 。已被 Cursor 用于 Composer 2 训练。
📥 PDF ·
📝 深度报告
🏋️ LLM 训练与微调（2 篇）
问题： 主流训练框架加新特性（MoE/RoPE）的侵入成本为 O(N·M)，百人团队合并冲突代价高。
核心洞察： 用"严格封装 + 分层 Config 树 + Mesh Rules"把特性接入降到
O(1) ；提出
LoC-Complexity 作为框架可扩展性的可度量指标。
关键结论： MoE 接入 ~10 LoC（DeepSpeed 路线 ~4000）；GPU/TPU/Trainium2 跨硬件
68% MFU ；TPU 上推理比 vLLM 快 13×。
📥 PDF ·
📝 深度报告
问题： FSDP1/2 只能按元素或按行切，无法表达"块对齐"语义，DeepSeek-V3 块量化 / Shampoo 优化器需侵入式模型改码。
核心洞察： 发明
RaggedShard ——允许任意块粒度 + 任意分布的 DTensor placement，配合 NP-hard structure-aware planning + zero-copy DBuffer。
关键结论： 1024×H800 上比所有 FSDP 基线快
5–66% 、显存少
16–30% ；万卡训练 2.4T MoE 线性扩展。
📥 PDF ·
📝 深度报告
🚀 LLM 推理与服务（5 篇）
问题： TP=8 推理 AllReduce 占 9–23%，但已有 overlap 方案需 8K+ batch 才有正收益，主流框架默认关闭。
核心洞察： 抓住 NVSHARP/NVLS 红利，融合 AR + RMSNorm 消灭 N× 冗余，
token 两路 wave-aware split （拒绝 ≥3 路）+ 仅 2–8 SM 即饱通信带宽。
关键结论： 1K token 即生效 ，超过"删除通信"的 vLLM-nocomm 反事实基线；已进 vLLM-V1 默认路径。
📥 PDF ·
📝 深度报告
问题： 开放以太网能否在对 IB 的依赖上取得实质性突破？
核心洞察： 800 GbE RoCEv2 + SONiC + Tomahawk 5 在
中等规模 (800 GPU) 单租户 场景下可对标 IB——关键是 ECN/PFC/NCCL channel 的 cross-layer 精细调优。
关键结论： MLPerf GPT-3 175B 与 NVIDIA Eos(IB) 差距
≤17% ；HPL 78.3% 效率；9 个月单租户观测揭示
73.5% GPU-time 来自用户 cancel 等真实 workload 规律。
📥 PDF ·
📝 深度报告
问题： PD 分离是"开关 = 加速"吗？
核心洞察： PD 分离是
多维高耦合搜索问题 ，6 条必要条件（prefill-heavy + 大模型 + 中延迟 + dynamic planner + MoE/MLA + 大 NVLink 域）缺一条就 Pareto 退化。
关键结论： KV transfer 带宽
不是瓶颈 （对 Mooncake/KVDirect 的隐含质疑）；
没有 dynamic planner 的 PD 分离在生产几乎不可用 。
📥 PDF ·
📝 深度报告
问题： MoE 推理比 dense 真正贵在哪、贵多少？
核心洞察： 定义
MoE tax τ = T(MoE)/T(FLOP-aligned dense) ，量化
6 类税 ：AllToAll 4.6× 网络流量、arithmetic intensity、ancillary kernels、imbalance/straggler、padding、通信不均衡。
关键结论： 税普遍
2–3× （云定价差 2.5–10×）；prefill 怕 imbalance、decode 喜 imbalance（反直觉）；提出
BBB 框架 覆盖 TP+TP/TP+EP/DP+EP。
📥 PDF ·
📝 深度报告
问题： SD 报告的 2–3× speedup 在 production 是真实的还是 illusion？
核心洞察： SD 把 idle compute 转为 throughput——
bs 小 → memory-bound → idle 富余 → SD 几乎免费；bs 大 → compute-bound → 无 idle → SD 退化 。Verification 占 42–95%，是真正的主导成本。
关键结论： bs=1→128，EAGLE 加速从 1.96× 退化到 1.72×；oracle combine 上界
4.9× ；reasoning workload 是稳定甜点。
📥 PDF ·
📝 深度报告
🏗️ 硬件与加速器（3 篇）
问题： tile-based manycore 上集合通信（barrier/broadcast/reduction）在 256×256 mesh 上让 GEMM 利用率 < 50%。
核心洞察： DCA (Direct Compute Access) ——NoC"借用"附近 cluster 的 FPU 做 in-network reduction，router 不再塞昂贵 FP tree。这是硬件复用而非硬件重叠。
关键结论： router 面积仅 +16.5%，multicast/reduction
2.9×/2.5× ，外推 256×256 上 GEMM
3.8× ；
RTL 全开源 。
📥 PDF ·
📝 深度报告
问题： 在 SRAM-distributed 架构上实现 production 级 LLM serving。
核心洞察： LPU 把 weights + KV cache 全放进 on-chip SRAM（单 die 230 MB，带宽 ~10 TB/s 级），用 QuadFour + 静态调度 C2C 把单跳压到
300 ns （GPU NCCL 1–10 µs）。
关键结论： Qwen3-235B 在 TPOT 稳定性 / mean TTFT 上系统性优于 SGLang on B200 DGX；SLO 稳定性 > peak throughput。
📥 PDF ·
📝 深度报告
问题： 直接移植 PCIe offloading 到 GH200，仅利用 C2C 链路的
<5% 。
核心洞察： Superchip 不是 PCIe 的"快一点版本"——链路/DRAM 带宽关系翻转；
RotaSched (OS 风格 VLT 主动旋转) +
DuplexKV (block-first layout + 全双工旋转) 把 swap 带宽从 ~10 →
180+180 GB/s 。
关键结论： TTFT SLO 命中率最高
+74.7% ；双工带宽达 ideal 的
94% ；OS 范式回归 LLM serving。
📥 PDF ·
📝 深度报告
🌐 分布式与超节点总线（1 篇）
问题： NCCL 集合通信 + 厂商专属 RDMA（IBGDA/EFA SRD）双重锁定 LLM 通信栈。
核心洞察： 抽取 ConnectX RC 与 EFA SRD 之间"reliable but unordered"最大公约数 + 发明
IMMCOUNTER （顺序无关完成原语），让 P2P 成为一等公民。
关键结论： 三负载（KvCache / RL 权重 / MoE）在 H200+EFA 上 KvCache TTFT 退化 ≈ 0；Kimi-K2-1T 权重同步
1.3 秒 ；EFA MoE 首达生产可用。
📥 PDF ·
📝 深度报告
📱 端侧推理（1 篇）
问题： 端侧 ML 框架三方碎片化（LiteRT / Core ML / llama.cpp）。
核心洞察： 以
torch.export 为锚点 + Partitioner+Delegate 接口 + 极简 C++17 runtime；
实验一致性 （Export IR 既能在 eager 验证又能在端侧跑）消除研究-生产语义鸿沟。
关键结论： 比 PyTorch Mobile 快
70.5× 、框架开销快
4325× ；12 个生产后端；
每天数十亿推理 。
📥 PDF ·
📝 深度报告
🔍 数据 / 存储 / 检索（3 篇）
问题： 全量 embedding 索引占用 TB 级磁盘，端侧/冷数据湖无法承受。
核心洞察： LLM 生成已 dominate RAG 端到端延迟（>10s）→ 用一点检索延迟换巨大存储节约；删全量 embedding，仅存 graph + PQ 表，
查询时实时重算 。
关键结论： 50× 存储压缩 （HNSW 188GB → 4GB），端到端 RAG 90% Recall@3 时延 <1.2s；hub-preserving 剪枝保留导航关键节点。
📥 PDF ·
📝 深度报告
问题： full-graph GNN 训练要求所有顶点 × 所有层激活同时驻留显存（TB 级）。
核心洞察： 把 NVMe SSD 当 GPU/Host 之外的
"第三层显存" ，但必须 graph-aware —— partition-wise caching + regather-instead-of-snapshot + lightweight partitioning 三件套。
关键结论： 单卡 RTX A5000 + SSD 工作站（
$3.3K ）达到 16-GPU A6000 IB 集群（
$132K ）吞吐的
1.10–1.52× ；成本差 40×。
📥 PDF ·
📝 深度报告
问题： 大型推理模型（LRM）长 CoT 场景下 KV cache 爆炸，token 级驱逐已到瓶颈。
核心洞察： 在 reasoning 模型时代，token 级 KV 驱逐已
走到瓶颈 ——必须把"哪些 token 不写入 KV"和"哪些思考干脆不要生成"
一起做 ；利用 LRM 的 overthinking 倾向实现"存储 + 算力双省 + 准确率↑"的 free lunch。
关键结论： 句子级 KV 驱逐 + adaptive steering + batch grouping 三件套；vs R-KV 准确率
+26.7% ；可结合量化。
📥 PDF ·
📝 深度报告
第二部分 · 跨论文六大战略主轴
本节把 keynote 与 19 篇论文收敛到 6 条主轴。每条轴用"问题→证据链→研判"展开，是本次综合的核心增量。
主轴 1 · 「同步税」——GPU 体系的结构性天花板
多组看似独立的论文在深挖后收敛到同一根因：GPU decode 的天花板由同步原语的物理实现决定，而非 TFLOPS 或 HBM 容量 。这不是一两个 kernel 的问题，而是整个 GPU 编程范式的结构性税。
证据链
Dataflow Is All You Need ：GPU 同步 = HBM counter 读写 = 数百 µs 且与计算同信道竞争；SN40 同步 = on-chip 握手 = ns 级且异信道。这是论文标题藏着的硬主张。SHIP ：Groq LPU 用 QuadFour + 静态调度 C2C 把单跳压到 300 ns，compiler-omniscient 是 SRAM-distributed 在低 batch 下保 SLO 的底层假设。Speculative Decoding: Illusion? ：SD 在 bs=1 报告 1.96×，bs=128 退化到 1.72×——因为 GPU 上"小模型 host/device 同步 + KV 维护"每一步都是税；dataflow 架构天然支持 propose-verify pipeline fuse，所以 SN40 上 SD 能拿到 6× 是架构差异 而非算法优势。TokenWeave ：在 GPU 阵营内用 NVSHARP + AR/RMSNorm 融合把通信 SM 缩到 2–8，是对"同步税"的务实缓解。NoC Collective-Capable ：16.5% router 面积换 ~3× collective 加速——把同步从"分布式系统问题"下沉到"片上问题"。
综合研判： "同步税"是 LLM 推理时代对应"内存墙"的结构性瓶颈 。GPU 阵营的缓解（TokenWeave / NVSHARP / NoC collective）是在体系内"逼近"dataflow 天花板，但不可能"触达"。真正触达需要编译器-硬件联合去同步 （Dataflow / SHIP）。未来 3 年，评估任何 decode 优化工作的第一问题应该是："它消除了哪一层同步、在哪种硬件假设下？"对中国 chip 团队的启示： 如果国产 AI 芯片仍在走"GPU-like SIMT + HBM"路线，decode 阶段的结构性天花板将同样存在；真正的换道超车机会在于 SRAM-distributed / dataflow / 静态调度这条线——但其代价是放弃运行的通用性，需要配套全新编译器栈。
主轴 2 · 存储层级的重定义——从固定硬件到编排对象
传统存储层级（HBM→DRAM→SSD）正在三个方向 上被系统重写。Keynote Zettlemoyer 的"data is the new architecture"论断在论文侧获得系统级回应。
三条重写路径
路径 工作 核心思想 SRAM 上行 SHIP 把 weights + KV 全放进数千颗 die 的 on-chip SRAM；SRAM 带宽 10× HBM，代价是容量仅 230 MB/die CPU DRAM 作为 KV 第二层 SuperInfer NVLink-C2C 900GB/s 让 CPU DRAM 成为"慢速 HBM"；RotaSched 用 OS 旋转调度把 swap 带宽提到 180+180 GB/s SSD 作为第三级显存 GriNNder graph-aware 的 NVMe offloading，单卡工作站 = 16-GPU 集群吞吐，成本差 40× 重算换存储 LEANN 删全量 embedding，仅存 graph + PQ，查询时重算；50× 压缩 选择性不存 SkipKV 利用 LRM overthinking，句子级跳过 KV 生成与存储；存储+算力双省
综合研判： "存储"不再是给定硬件，而是由编译器 + 调度器 + 系统策略 联合定义的编排对象 。GriNNder 与 LLM KV offloading (SuperInfer) 的方法论正在趋同：两者都用"图/访问模式的偏斜先验 + 多级 cache + overlap pipeline"。一个自然的追问：能否有一个统一的结构化 offloading 抽象 ，同时覆盖 graph activation、Transformer KV 与 embedding index？这可能是 MLSys 2027 的一个核心问题。
主轴 3 · 通信范式转移：Collective → P2P
fabric-lib 是这场转移的奠基工作，但它不是孤立事件。PD 分离、EP disaggregation、RL 权重同步共享、MoE dispatch 共同催生了"P2P 是一等通信原语" 的新共识。
为什么转移正在发生
NCCL 成立的三条假设（fixed membership / synchronized init / shape uniformity）在 disaggregated serving / EP / RL 全部不成立 ：
fabric-lib 从 Perplexity 生产反推出的最小抽象——"reliable but unordered"+ IMMCOUNTER，横跨 ConnectX RC 与 EFA SRD 两大 transport。Beyond the Buzz 是这场转移的"需求文档"与"适用边界"——转移之后编排层（rate matching + routing）才是真正瓶颈，KV transfer 带宽不是。SAKURAONE 证明开放以太网栈在 800-GPU 量级已能把 IB 差距压到 ≤17%，为 P2P over Ethernet 提供网络基础。
综合研判： 这场转移不会一夜完成，但方向已定 。NVL72 等超节点扩张短期内会让 MoE 场景的 RDMA P2P 价值下降，但跨超节点的 KvCache transfer + RL 跨集群权重同步 反而更重要。对中国的启示：国产异构 RDMA（华为擎天、腾讯星脉、Alibaba eRDMA）完全可以用 fabric-lib 的方法论作为"国产 fabric-lib"设计模板——找 NIC 间最大公约数 + host-proxy + IMMCOUNTER 类原语。
主轴 4 · Superchip 对系统设计的范式冲击
SuperInfer 的主题句是"Superchip 不是 PCIe 的快一点版本" 。加上 SHIP 提出的 attention/FFN disagg、Beyond the Buzz 强调的 NVL72 大域、以及fabric-lib 的超节点视角，2026 年系统研究者必须重新校准"硬件假设"。
PCIe → C2C：瓶颈从"链路"翻转为"DRAM 带宽"；OS 词典（lag / fairness / preemption）在 serving 中重新可用。
SHIP §7.3：KV cache → HBM、FFN MatMul → SRAM 的异构 disagg，与 Vera Rubin "NVIDIA Groq 3 LPX"设计前传同向。
Beyond the Buzz Fig 13：NVL72 让 decode pool 的 EP/TP 选择空间显著拓宽。
主轴 5 · 批判性转向——MLSys 走向工程现实主义
MLSys 2026 罕见地出现三篇"反主流"论文同场，构成完整的"工业 reality check" ：
论文 被批判的叙事 修正后结论 Beyond the Buzz PD 分离 = 加速 仅在 prefill-heavy + 大模型 + 中延迟 + dynamic planner + MoE/MLA + 大 NVLink 下成立 SpecDec Illusion SD 稳定 2–3× bs=1 production illusion；verification 占 42–95%；4.9× 是 oracle 上界 MoE Serving Tax Sparse MoE 一定比 dense 便宜 税普遍 2–3×；prefill 怕 imbalance、decode 喜 imbalance
综合研判： 这不是几家公司在唱反调，而是 MLSys 这门学科从"能不能做"走向"值不值得做" 的成熟信号。三篇论文共同的方法论贡献是——把 hype 转化成多维决策表 ：不再回答"能不能"，而是回答"在什么条件下、付出什么代价、拿到什么收益"。对技术决策者而言，这三篇是 2026–2028 年路线规划的 day-1 reference。
主轴 6 · 训练框架的路线分叉——模块化 vs 灵活性
AXLearn (Apple/JAX) 与 veScale-FSDP (ByteDance/PyTorch) 在同一时间点、不同基座上重构训练系统的抽象，形成值得持续追踪的"路线之争"。
维度 AXLearn veScale-FSDP 基座 JAX/XLA + GSPMD PyTorch DTensor 核心抽象 LoC-Complexity(可度量) + Config 树 + strict encapsulation RaggedShard(通用 sharding) + NP-hard planning + DBuffer 硬件观 hardware-agnostic 优先(跨 GPU/TPU/Trainium2) PyTorch 上游协作(RaggedShard 进官方) 核心赌注 长期看硬件演进+编译器 > 单硬件极致 PyTorch 生态演进 + 万卡生产就绪 MFU(70B) TPU 68% > MaxText 64.4% 万卡 Hopper 线性扩展 2.4T
综合研判： 两条路线并非零和。AXLearn 回答的是"组织规模最大、架构最多样、硬件最异构" 时框架该怎么设计；veScale-FSDP 回答的是"在主流硬件上如何把 FSDP 能力边界推到 Megatron 水平" 。对国内的启示：字节 veScale-FSDP 证明中国大厂已具备主导 PyTorch 上游抽象演进的能力，这是 5 年前没有的；而 Apple AXLearn 的"Hardware-agnostic 优先"路线在国产多元芯片(昇腾/壁仞/寒武纪/摩尔线程)场景下有强参考价值。vLLM/SGLang 代表的"专用推理栈" vs AXLearn 的"训练栈即推理栈"之争，也将在未来 2 年见分晓。
第三部分 · 综合战略研判
3.1 模型设计者视角：从"架构演进"到"负载-架构协同设计"
站在模型设计者角度（rule #8），MLSys 2026 给出一个范式级信号：模型架构不再是孤立的设计对象，必须与负载特性和系统约束协同设计 。
SkipKV 直接利用 LRM 的"句子级语义单元"和"overthinking 倾向"做 KV 优化——系统是模型推理行为塑造的；反过来，模型训练时也可以奖励"句子级稀疏化" ，从源头适配系统约束。MoE Serving Tax 证明 routing 分布（skewed vs uniform）对系统税有方向性影响 （prefill 恨 imbalance、decode 喜 imbalance）——这意味着模型设计时就要考虑 phase-aware 的 routing 策略。Zettlemoyer (Keynote) 的 BTM（data-to-parameter modularity）与veScale-FSDP 的 RaggedShard 遥相呼应：数据-参数映射从"系统替模型承担"走向"模型为系统暴露结构"。
研判： 未来 18 个月，"system-aware model design" 与 "model-aware system design" 双向渗透会加速。模型设计者需要理解 roofline、通信拓扑、存储层级；系统设计者需要挖掘模型的结构性先验（overthinking、hub 分布、routing 稀疏性）。能做跨层 co-design 的团队，将在 2027–2028 拉开差距。
3.2 全球市场视野：开放生态与硬件多样性（rule #9）
从投资与资本走向看，MLSys 2026 透露几个需要冷静判断的信号：
开放以太网 (SAKURAONE) vs IB ：800-GPU / 单租户 / ≤17% 差距是真实但受限的 信号。多租户、超大规模（10k+ GPU）下 IB 仍有显著优势。UEC (Ultra Ethernet Consortium) 的成功不会一夜完成，但方向确定。硬件多样性拐点 ：Groq (SHIP) 被 NVIDIA 收购整合进 Vera Rubin、SambaNova (Dataflow) 持續在路上、AMD CDNA3/4 (HipKittens)、开源 NoC——CUDA 的统一叙事正在被侵蚀。但短期内 CUDA 生态护城河仍然极深 ，真正的考验是新硬件能否拿出 production-ready 的整套软件栈。训练芯片多元化 ：Apple Trainium2 (AXLearn) 在主流框架"还没支持"时已规模训练，这是硬件-软件垂直整合 路线的经典胜利。
研判： 站在 2026 年中的投资视角——单层优化工具（纯 kernel 库、纯调度器）的估值窗口在关闭 ；具备跨层视野的 stack 级机会（PD 分离编排器、存储编排框架、跨厂商 DSL、Superchip 推理系统）是 2026–2028 的主要增长点。对 hyperscaler 而言，最有价值的不再是单一峰值性能，而是组织级的特性接入摩擦力（LoC-Complexity）与 SLO 稳定性 。
3.3 学术前沿视角：正在成形的新研究议程（rule #10）
冷静地看，MLSys 2026 留下了几个有深度的开放问题清单：
开放议程 A · "统一结构化 offloading"的可能性
GriNNder (GNN activation offload)、SuperInfer (Transformer KV offload)、LEANN (embedding recompute)、SkipKV (KV selective skip) 各自独立。能否提出一个通用框架，用"图/访问模式的偏斜先验"+"多级 cache"+"overlap pipeline"统一
三种 不同访问模式（拓扑依赖 / 顺序层访问 / vector lookup）？
开放议程 B · Adaptive 与 Closed-loop 推理控制
SkipKV 的 adaptive steering（N_o 计数器闭环）是 inference-time scaling 时代的一个范式信号。但系统何时介入、介入多少、对 alignment 的副作用均未充分探索。
一个真正的"推理控制器" 需要 new research。
开放议程 C · SD 的"下一章"
SpecDec Illusion 给出了 4.9× oracle 上界与 adaptive k / 多变体融合两条路径。位置感知的 proposer ensemble、high-confidence token verify-skip、MTP 多 head 联合训练——SD 不会消亡，但从"暴力 speculative"走向"精准 speculative"。
开放议程 D · System Verification 的形式化
Lidong Zhou 说出"System Intelligence"这种概念名，意味着 MSR 已经准备了几年。结合 SkipKV 的 closed-loop steering、SpecDec Illusion 的 upper-bound 分析——
系统行为的 form guarantee 将从 nice-to-have 变为 must-have ，尤其在高可靠场景（医疗/金融/自动驾驶 LLM agent）。
3.4 全局层面的三大"反直觉"结论
作为本次综合的"冷静判断"，以下三点最值得向决策者强调：
"PD 分离"不是下一件大事，而是一件需要 5 个前置条件的精细活。 Beyond the Buzz 应该让所有正在"all-in PD 分离"的团队重新审视——先量化你的 ISL/OSL 分布与 mapping 自由度。"MoE 比 dense 便宜"是系统性谎言。 税 2–3× 意味着在定价、容量规划、SLO 设定时必须使用 phase-aware 模型，不能套用 dense 经验。"SD 2× speedup"在 production 中大多数时候是 bs=1 的 illusion。 在投入 SD 工程前，先沿 batch size 轴做扫描；verify 占比 > 80% 就停止优化 drafting，转向 ensemble 或 verify-skip。
第四部分 · 对中国 AI Infra / 系统 / 算法社区的启示
启示 1 · 不要再投只优化单层的论文和工程
单点 attention 加速、单点 LLM serving 优化的窗口在快速关闭。建议组队覆盖 silicon ↔ system software ↔ model 至少
两层 。TokenWeave 把 AR+RMSNorm 融合做到 1K token 即生效，靠的不是"新算法"而是跨层（NVSHARP 硬件 + vLLM 调度 + kernel 融合）拧成绳。
启示 2 · Kernel 自动生成是少有的"可自驱评估"赛道
Saroufim Keynote + NVIDIA FlashInfer Contest + AWS Trainium2/3 MoE Kernel Challenge + Google Graph Scheduling Competition——MLSys 2026 全部围绕"AI 写硬件友好代码"。Plus：HipKittens / ParallelKittens / FlashAttention-4 三代 kernel DSL 崛起，为 AI 写下了"可验证的 kernel 生成"的评估协议（perplexity 对齐 + hardware roofline）。
启示 3 · 重新审视 tokenizer 与训练数据 pipeline
BLT / byte-level / BTM 这条线极可能成为下一代 pretrain 的事实标准；中文/多语种长尾尤其受益。veScale-FSDP RaggedShard 对
非按元素量化 （DeepSeek-V3 块量化）的一等支持，也在倒逼训练数据表示与 tokenizer 协同升级。
启示 4 · System Verification + AI 是被低估的赛道
Lidong Zhou 的"System Intelligence"、SkipKV 的 closed-loop steering、SpecDec Illusion 的 oracle-bound 分析——三件工具（形式化规约、反馈控制、理论下界）同时出现。国内还没看到同等级别的系统性工作产出，缺口明显。
启示 5 · Agentic AI 推理压力是 2026–2027 系统主要矛盾
长上下文 + 多轮工具调用 + KV 跨请求复用——传统 vLLM/SGLang 请求隔离架构正被 agentic 负载冲击。SuperInfer 给出了 Superchip 下的重做范式；SkipKV 给出了"什么时候不该存 KV"的新思路；Beyond the Buzz 给出"prefill-heavy 下 PD 分离真正收益"。三者组合起来，是下一代 serving stack 的蓝图。
启示 6 · 为国产多元芯片设计"统一 kernel DSL + 存储编排"
国产芯片异构（昇腾/壁仞/寒武纪/摩尔线程/国产 NPU）面临两个具体机会：①
移植 HipKittens 范式 （前端通用 + 后端专属，尤其是 register-level 表达）；②
借鉴 GriNNder 的存储编排 做面向图/推荐模型的国产 SSD-offload 方案；③
借鉴 fabric-lib 方法论 为国产异构 RDMA 做"最大公约数" P2P 抽象。
附录 · 溯源链接与阅读索引
本地资源索引
📁 包内文件结构
主报告 ：index.html（本文件） · sources.html（溯源链接附件）📂 keynote/ ：5 场 Keynote 深度笔记 + SUMMARY.md（5 场综合） + sources.md + social_media_queries.md📂 papers/ ：19 篇论文 PDF + 中文深度报告（7 个子目录，按主题分组）逐篇报告总行数 ：~9400 行中文分析；PDF 总 ~68 MB自包含 ：所有链接均为相对路径，整包可直接离线阅读
推荐阅读路径
读者 路径 算法研究员 SkipKV → MoE Serving Tax → Dataflow → SpecDec Illusion → Zettlemoyer Keynote 系统/ Infra 工程师 Beyond the Buzz → fabric-lib → SuperInfer → SAKURAONE → TokenWeave → Kozyrakis Keynote 芯片/体系结构 NoC Collective-Capable → SHIP → Dataflow → FlashAttention-4 → HipKittens → ParallelKittens 训练框架 AXLearn → veScale-FSDP → Saroufim Keynote → Zettlemoyer Keynote 端侧/端云 ExecuTorch → LEANN → GriNNder → SkipKV 管理者/决策者 本报告执行摘要 → 六大主轴 → 批判性转向 → 对中国的 6 条启示
关键外部 URL
报告生成方法说明
素材基础 ：每篇论文已有 ~500 行中文深度解读（§1 TL;DR / §6 启示 / §7 局限 / §10 一句话点评），Keynote 已有 5 篇单场笔记 + SUMMARY 综合。本次综合方法 ：用 bash/awk 批量提取 19 篇报告的 §1/§6/§7/§10 章节（浓缩为 ~2000 行），结合 keynote SUMMARY 一次性撰写，不重新读 PDF、不启动 19 个子 agent ，最小化 token 消耗。深度报告溯源 ：每个"研究重点"卡片都链接到对应的本地逐篇深度报告与 PDF，关键结论均可回查原文页码。立场声明 ：综合研判部分代表分析者视角，用 quotation 区块标注，与论文原始结论明确分开。
MLSys 2026 深度综合报告 · 初版 2026-07-15 · 自包含打包 2026-08-05 · 覆盖 5 Keynote + 19 Papers