"Bỏ qua để đến phần nội dung chính\nHỗ trợ truy cập\nĐăng nhập\nChế độ AI\nTất cả\nVideo\nHình ảnh\nMua sắm\nVideo ngắn\nTin tức\nThêm\nCông cụ\nKết quả tìm kiếm\nLooking for results in English?\nChange to English\nTiếp tục sử dụng Tiếng Việt\nCài đặt ngôn ngữ\nThông tin tổng quan do AI tạo\nThe Memory-semantic PD-disaggregation paradigm (implemented via Uni-PD) is a high-performance optimization feature introduced in SGLang. It reinvents how Prefill and Decode (PD) nodes communicate during Large Language Model (LLM) serving. \nGitHub\n +1\nTraditionally, Prefill nodes compute the KV Cache and explicitly transmit it over network fabrics (like NCCL or PCIe) to separate Decode nodes. The memory-semantic paradigm completely eliminates this middle step. \nGitHub\n💡 Core Mechanics: How Uni-PD Works\nDirect Remote Storage: During the prefill kernel computation phase, a GPU worker directly stores the computed KV Cache into the High Bandwidth Memory (HBM) of a destination Decode GPU. \nGitHub\nPeer-View Access: The Prefill node leverages a \"peer view\" of the Decode node's HBM. It writes data across the high-speed interconnect fabric as if it were writing locally. \nGitHub\nZero Explicit Transfers: Because the data lands exactly where it needs to be processed, the system removes 100% of explicit KV Cache network transmissions. The Decode node begins processing immediately without changing its attention kernels. \nGitHub\n +1\n🚀 Key Performance Advantages\n100% Elimination of explicit KV Cache transfers along the PD-disaggregated pipeline.\n~80% Reduction in send_kv_chunk() latency overhead.\nKernel Agnostic: Fully transparent to varying attention kernels in both prefill and decode execution cycles. \nGitHub\nHiện thêm\nWeb results\n[Feature] Memory-semantic PD-disaggregation paradigm\n\nGitHub\nhttps://github.com › sglang › issues\n·\nDịch trang này\n9 thg 12, 2025 — Uni-PD: A SuperPod-native, Memory-semantic PD-disaggregation paradigm. [Motivation]. Towards a SuperPod-native, memory-semantic architecture ...\n[Proposal] Memory-semantic PD-disaggregation paradigm #35263\n\nGitHub\nhttps://github.com › actions › runs\n·\nDịch trang này\nSGLang is a high-performance serving framework for large language models and multimodal models. - [Proposal] Memory-semantic PD-disaggregation paradigm ...\nThông báo về Kết quả bị lọc\n\nĐể hiển thị cho bạn các kết quả có liên quan nhất, chúng tôi đã bỏ đi một số mục nhập rất giống với 2 kết quả đã hiển thị.\nNếu muốn, bạn có thể lặp lại tìm kiếm với các kết quả đã bỏ đi được bao gồm.\n\nĐường liên kết ở chân trang\nViệt Nam\nTừ Liêm, Hà Nội - Dựa trên hoạt động trước đây của bạn\n - Cập nhật vị trí\nTrợ giúp\nGửi phản hồi\nQuyền riêng tư\nĐiều khoản"