Agentic LLM 的每轮新增输入很短，累计上下文却很长。高 KV Cache 命中率把重复计算变成了外部存储读取，但传统 P/D 分离系统只让 Prefill 节点承担读取，结果往往不是 GPU 算力不足，而是 Prefill 侧 Storage NIC 先堵住。DualPath 的核心不是压缩 KV，也不是换一种 Attention，而是把 Decode 侧闲置的存储入口和计算网络一起纳入 KV 加载路径，再用 QoS 与两级调度防止新路径干扰推理。本文进一步判断：昇腾 AIV 直驱可以成为其中一段细粒度 RDMA 控制路径的候选优化，但不能直接替代 DualPath 系统。

长上下文把 KV cache 从一块 GPU 临时张量，逐步推成了跨 GPU、CPU、SSD、NIC 和远程内存流动的分布式状态。表面上，近几年的论文分别在做分页、卸载、压缩、P/D 解耦、远程复用或直通访问；从更抽象的角度看，它们其实都在回答同一个问题：如何分布式地管理一批有依赖、可重算、持续增长且必须按时到达的数据？

本文以放置、组织、传输为主轴，把命名、依赖、正确性、调度与故障恢复作为支撑平面，纵向回看 2022—2026 年的演化，横向比较七类设计范式，并推演下一阶段可能出现的三条路径。研究截止日期为 2026-08-24。

KV Cache 是自回归大模型推理中最重要的运行时状态之一。它把各层历史 token 已经算出的 Key 和 Value 留在缓存里，使后续步骤只处理新 token，而不必反复计算整个前缀。

这不是免费的加速：模型用持续增长的显存驻留换取更少的重复计算。理解这一交换，才能解释为什么生成会加快、长上下文会吃显存、并发容量可能下降，以及为什么修改提示词中间的 token 会使其后的缓存失效。

一台加速卡跑不下、几百张卡又容易互相等待时，问题就不再只是“算力够不够”，而是谁负责算、谁负责搬、状态放在哪里、下一步在等什么。本文以知乎学习笔记为线索，回到原始论文逐项核验，用“超级厨房”“专家快递”和“共享图书馆”三个直觉，解释 CloudMatrix384 服务 DeepSeek-R1 的四个关键机制。

KV cache 最容易造成的误解，是把所有名为 K/V 或 state 的张量都看成同一种“缓存”。事实上，训练时为反向传播保留的 K/V activation、推理时跨 decode step 存活的 KV cache、GDN 跨 token 改写的固定状态，生命周期和分布式处理都不同。

本文从一次 token 生成开始，逐对象解释 MHA、DSA 与 GDN 保存什么，再讨论 CP、USP 切开长序列后，临时 activation 和持久 cache 分别需要怎样的通信。