深度调研（Probe）：KV 缓存生命周期存储层

阅读提示

**键值缓存（key-value cache，KV cache）**是自回归生成保存的注意力状态。它由模型、词元位置、注意力布局和权重版本共同定义，不是可脱离语义解释的普通字节块。
生命周期指一块 KV 从创建、暂定、提交、索引、变换、卸载、加载、复用、失效、驱逐到恢复或删除的状态变化。
**首个词元时间（time to first token，TTFT）与每输出词元时间（time per output token，TPOT）**分别衡量开始响应和持续生成的延迟。
**写放大（write amplification factor，WAF）**是设备实际写入量与上层请求写入量之比；它和垃圾回收、尾延迟、寿命一起决定 SSD 是否真是“便宜容量”。
本调研讨论存储层契约，而非只比较哪种淘汰器命中率更高。精确、压缩、稀疏、可重算、推测草稿和容错副本必须被区分。

一页结论

38 篇内部工作形成五条主路线：身份与索引、内容变换、分层数据路径、解聚与恢复、设备与上游存储。研究已覆盖生命周期的几乎每一段，却没有共同状态机把这些段连接起来。
2023–2025 年的核心转折是从 GPU 分页和前缀树走向可跨请求、跨引擎、跨节点复用的 KV 对象；2026 年又把碎片 I/O、主存直读、精确召回、权重版本失效和在线追踪推到一等问题。
最普遍的缺陷不是“没有多层缓存”，而是身份与一致性薄弱：涉及复用、变换、迁移或恢复的 28 篇中，没有一篇同时覆盖模型版本、租户、变换类型和提交状态。
“命中即加载”“GPU 页可直接作为存储对象”“后端是透明字节仓库”三项假设都已有明确反例；最优对象粒度和动作取决于后端、布局、当前批次与 SLO 余量。
proposal 前最关键的测量是跨引擎生命周期轨迹、加载—重算交叉曲线、对象粒度扫描，以及带半写入、陈旧元数据和推测回滚的故障注入。

范围与证据

本调研复核 38 篇仓库内论文页：9 篇身份与索引、7 篇内容变换、7 篇分层数据路径、5 篇解聚与恢复、7 篇设备存储，以及 3 篇上游检索。另纳入 5 项外部论文或官方产业资料。内部页均按完整论文页使用；外部资料仅作补充证据，未启用 --ingest-missing。

纳入标准是工作必须改变 KV 的身份、状态、布局、传输、持久化、失效、恢复或上游复用条件。纯注意力内核、纯路由调度和一般文件系统工作只有能提供直接设备或一致性反例时才纳入。

研究版图

研究路线	核心问题	代表工作	当前边界
身份、索引与失效	一块 KV 是什么、谁可复用、何时失效	SGLang-NeurIPS24、LMCache-arXiv25、RollArt-OSDI26	版本、租户、暂定状态和变换类型尚无共同契约
内容变换与召回	存储对象是否精确、部分、压缩或可重算	CacheGen-SIGCOMM24、OPKV-MLSys26、FlexiCache-MLSys26	各论文自定义质量与回退语义，难以组合
分层数据路径	怎样让主存或 SSD 中的 KV 按时可用	Bidaw-FAST26、Strata-OSDI26、DirectKV-OSDI26	布局、调度和设备策略仍绑定特定硬件
解聚、传输与恢复	跨节点移动时怎样保持可用和一致	GhostServe-MLSys26、RaidServe-MLSys26、fabric-lib-MLSys26	GPU 故障、网络故障和持久层故障没有统一模型
设备与上游存储	后端和检索流程怎样改变 KV 生命周期	WARP-FAST26、Cylon-FAST26、ContextPilot-MLSys26	FAST 缺真实 KV 轨迹，服务论文缺设备内部指标

这些路线按“谁拥有最终决策”划分。Strata-OSDI26 同时做布局和调度，主要归分层数据路径；RollArt-OSDI26 主要价值是明确权重更新使旧 KV 失效，归身份路线。版图揭示的主要断点在接口处，而不是单段性能不足。

时间脉络

总体阶段

GPU 分页分配 → 程序结构感知的前缀索引 → 跨请求与跨设备 KV 对象 → 近似变换和分层 I/O → 版本、故障与设备生命周期成为一等状态

身份与索引

2023 — vLLM-SOSP23：KV 从连续张量变成带引用与写时复制的分页块，建立运行时身份基础。
2024 — SGLang-NeurIPS24：基数树把程序前缀结构提升为跨调用索引；复用从请求内扩到请求间。
2025 — KVCacheInTheWild-ATC25、LMCache-arXiv25：生产轨迹与跨引擎中间件把生命周期、命名空间和多层对象推到服务层。
2026 — RollArt-OSDI26、StriaTrace-OSDI26：权重版本失效和跨连接器在线追踪说明“对象存在”不等于“对象仍正确或可诊断”。

内容变换与分层数据路径

2024–2025 — CacheGen-SIGCOMM24、CacheBlend-EuroSys25：KV 可被编码，或加载后仅重算一部分；精确字节块不再是唯一对象。
2026 — OPKV-MLSys26、FlexiCache-MLSys26、IceCache-arXiv26：对象粒度向词元、注意力头和语义页分裂。
2026 — Bidaw-FAST26、SolidAttention-FAST26：SSD 从被动备份层变成在线读取路径，设备尾延迟和 I/O 粒度进入 TTFT。
2026 — DirectKV-OSDI26、Strata-OSDI26、ECHO-OSDI26：分别以主存直读、双布局和精确召回改变“加载到 HBM 再计算”的默认路径。

恢复与设备语义

2026 — GhostServe-MLSys26、RaidServe-MLSys26：KV 成为故障恢复状态，不再只是可丢弃缓存。
2026 — WARP-FAST26、Cylon-FAST26、Xerxes-FAST26：SSD 寿命提示、CXL 命中双峰和机架拓扑说明后端不能只抽象为平均带宽。

各类工作的演化

身份、索引与失效

共同目标：回答 KV 如何命名、共享、提交、失效和观测。

演化与分歧：vLLM-SOSP23 以块表和引用计数管理页；SGLang-NeurIPS24 以基数树管理前缀；LMCache-arXiv25 将对象扩到跨引擎层；PRISM-MLSys26 引入按草稿步骤变化的模块 KV；Stream2LLM-MLSys26 处理流式编辑失效；ContextPilot-MLSys26 从上游重写上下文增加命中；RollArt-OSDI26 证明权重更新必须使旧 KV 失效；StriaTrace-OSDI26 则把分布式 KV 调用纳入在线追踪。

共同边界：9 篇中只有 RollArt-OSDI26 明确把模型版本纳入失效，只有 KVCacheInTheWild-ATC25 直接观察跨用户复用；没有一篇同时表达版本、租户、变换类型和暂定提交状态。

内容变换与召回

共同目标：减少保存或搬运量，同时说明怎样恢复可用计算状态。

演化与分歧：CacheGen-SIGCOMM24 编码完整 KV；CacheBlend-EuroSys25 加载后选择性重算；OPKV-MLSys26、FlexiCache-MLSys26 分别改变词元页和注意力头粒度；Kitty-MLSys26 量化；SkipKV-MLSys26 永久删除语义冗余；IceCache-arXiv26 用语义聚类改变页布局。

共同边界：7/7 篇各自定义元数据和质量评价，没有跨变换的类型、版本、校验和或回退接口。

分层数据路径

共同目标：让主存或 SSD 中的命中对象在 SLO 内成为 GPU 可消费状态。

演化与分歧：Bidaw-FAST26 利用对话阅读间隔预取 SSD KV；CacheSlide-FAST26 修正智能体提示的位置漂移；SolidAttention-FAST26 将稀疏注意力与 SSD 粗粒度读取协同设计；SuperInfer-MLSys26 在 Grace–Hopper 主动轮转；DirectKV-OSDI26 直接读主存；Strata-OSDI26 分开逻辑页和传输页；ECHO-OSDI26 为稀疏注意力做最终精确召回。

共同边界：7 篇中 6 篇只覆盖单节点或单一硬件族；只有 Strata-OSDI26 同时把碎片布局和请求调度纳入系统，但仍缺持久性与设备寿命。

解聚、传输与恢复

共同目标：跨实例移动或复制 KV，并在故障和资源变化下继续服务。

演化与分歧：NVIDIA-Disagg-Study-MLSys26 与 Meta-LLM-Deploy-MLSys26 建模预填充—解码解聚；fabric-lib-MLSys26 提供可靠无序传输；GhostServe-MLSys26 用奇偶校验影子降低检查点主存；RaidServe-MLSys26 主动备份并重布局。

共同边界：5/5 篇都没有覆盖持久层半写入、对象版本、网络分区和推测回滚的组合故障。

设备与上游存储

共同目标：揭示通用存储后端和检索上游会怎样改变 KV 的 I/O、寿命和命中。

演化与分歧：AITurbo-FAST26 为 AI 大块 I/O 提供分组接口；MAIO-FAST26 展示可编程页缓存；WARP-FAST26 量化 SSD 寿命提示错误；CetoFS-FAST26 把远端存储并发与恢复逻辑下推；Cylon-FAST26、Xerxes-FAST26 刻画 CXL 设备和织网；WSBuffer-FAST26 说明通用页缓存写路径会压过高速 NVMe。TeleRAG-MLSys26、Terminus-MLSys26、OdinANN-FAST26 则说明检索排序、更新与存储延迟会改变最终前缀。

共同边界：7 篇设备工作中 0 篇使用公开 KV 生命周期轨迹；3 篇上游检索工作中 0 篇维护生成器 KV 状态。

跨工作共同缺陷

共同缺陷	覆盖范围	为什么是系统性问题	已有缓解与剩余缺口
身份和一致性字段不足	涉及复用、变换、迁移或恢复的 28/28 篇，跨 4 路线	token hash 不能区分模型、适配器、变换、租户、草稿与提交状态，错误命中可能静默污染输出	RollArt-OSDI26处理权重版本，ECHO-OSDI26保证精确召回；仍无工作同时覆盖全部字段
GPU 页被直接继承为存储对象	分层或远端数据路径 12 篇中 9 篇	小逻辑页利于命中，却造成大量碎片 I/O；放大页又损失匹配粒度	Strata-OSDI26以双布局反例化该假设；不同压缩与设备仍需专用布局
命中默认比重算便宜	直接利用复用的 16 篇中 13 篇	后端队列、解压、布局转换和当前批次共同决定交叉点，存在不等于已就绪	CacheBlend-EuroSys25、Strata-OSDI26部分缓解；缺统一在线动作选择
后端被当作透明容量层	使用 SSD、CXL、远端或主存的 19 篇中 15 篇	WAF、垃圾回收、NUMA、双峰命中和拓扑会直接进入 TTFT/P99	WARP-FAST26、Cylon-FAST26、Xerxes-FAST26 给出反例；尚无真实 KV 设备评估
故障模型停在单段	涉及异步传输、持久化或恢复的 14 篇中 12 篇	半写入、陈旧索引、重复重试、推测回滚和 worker 故障可组合成错误状态	GhostServe-MLSys26、RaidServe-MLSys26覆盖 GPU 故障；跨层状态机仍缺失
多租户隔离与全局命中脱节	跨请求或跨实例共享的 12 篇中 10 篇	更广命名空间提高命中，也扩大内容存在性泄漏、缓存中毒和公平性风险	KVCacheInTheWild-ATC25发现跨用户复用近零；缺组织级与公共语料分层证据

分母按适用工作计算。设备论文未使用 KV 轨迹本身也是覆盖缺口，不能直接当作 KV 设备效果的正证据。

关键争议

KV 传输通常可隐藏，还是经常成为瓶颈

NVIDIA-Disagg-Study-MLSys26、Meta-LLM-Deploy-MLSys26 在高速数据中心互连上支持分层重叠；Bidaw-FAST26、SolidAttention-FAST26、Strata-OSDI26 则发现 I/O 粒度、后端尾延迟和加载窗口会主导。差异来自后端、上下文复用、计算窗口与对象布局，不是直接矛盾。

固定块是否仍是合适抽象

vLLM-SOSP23 的固定块简化分配与共享；OPKV-MLSys26、FlexiCache-MLSys26、IceCache-arXiv26 表明词元、头和语义重要性跨页分布；Strata-OSDI26 又证明存储传输需要比逻辑页更大的连续对象。较可能的条件化答案是身份使用小逻辑页，设备层使用可重组物理对象。

KV 是可丢弃缓存，还是需要持久状态语义

短请求失败后重算支持“可丢弃”；长上下文、智能体会话和 GhostServe-MLSys26、RaidServe-MLSys26 的恢复需求支持“昂贵状态”。边界取决于重算成本、会话持续时间、恢复目标和错误复用风险，不能按名称 cache 预先决定。

产业实践与学术缺口

NVIDIA Dynamo KVBM 已支持 GPU、主存、磁盘、对象存储、事件与多种卸载策略；配置仍以层容量和块策略为主，未给出跨变换正确性类型。
Tutti 通过 GPU 原生对象与 GPU 发起 I/O 解决 SSD 碎片控制路径；KVDrive 联合 GPU、主存和 SSD 放置与流水。这些 2026 工作加强“数据路径已成为主战场”的判断，但仍未形成跨引擎生命周期契约。
HyMCache 利用多轮 KV 的只读、可预测和追加写特征管理 CXL 混合内存；其真实原型直接把设备内 DRAM 与 SSD 共同暴露为 KV 层，说明设备可利用对象生命周期。
TraCT 把 CXL 共享内存同时用作 KV 传输底座和机架前缀缓存，进一步放大一致性、租户和拓扑问题。
vLLM、SGLang、LMCache、Dynamo 已有不同连接器和块事件。工业界正在收敛“可插后端”，尚未收敛“可组合语义”。

候选空白

跨引擎 KV 生命周期状态机：创建、暂定、提交、索引、变换、卸载、加载、复用、失效、恢复和删除尚无共同轨迹与接口。
类型化 KV 对象：精确、压缩、稀疏、可重算、奇偶校验、推测草稿和失效对象缺少可组合的代价与正确性标签。
设备感知放置：生命周期、热度、租户与精确性尚未映射到 FDP/ZNS、CXL 混合内存、远端内存和对象存储提示。
加载—重算—解压—部分修复的在线边界：现有系统多证明自己的路径有收益，少有统一动作竞争。
跨层故障与一致性模型：worker 崩溃、半写入、网络分区、陈旧索引、推测拒绝和模型升级尚未在同一状态机注入。
租户感知全局索引：个人、组织、公共语料和模型版本命名空间之间的命中、泄漏、公平与新鲜度曲线缺失。
面向智能体与检索流程的失效传播：检索顺序、工具输出、流式编辑和模型更新怎样使已有 KV 局部失效尚无统一上游通知。
包含存储内部指标的 KV 基准：缺少同时报告 TTFT/TPOT/P99、读写放大、垃圾回收、故障结果与租户隔离的套件。

关键未知与测量

生命周期分布是什么：在 vLLM、SGLang 与 LMCache 记录创建到删除的全部事件，覆盖聊天、检索、智能体和长推理；判断能否形成稳定类别。若事件不可跨引擎对齐，共同状态机需缩小范围。
对象身份需要哪些字段：系统性扰动模型、分词器、适配器、位置编码、量化和草稿模块，验证 token hash 之外每个字段是否能阻止错误命中；以误复用率和元数据开销评价。
存储对象应多大：扫描引擎页、跨层块、注意力头块、语义页与设备对齐段，记录加载放大、命中损失、吞吐和元数据；判断是否必须按层级使用不同布局。
命中与重算交叉点在哪里：按模型、上下文、批次、后端、队列深度与变换类型比较精确加载、解压、部分重算和完整预填充，输出在线可用边界。
生命周期提示能否改善设备行为：把真实轨迹重放到 FDP/ZNS 与 CXL 模拟器，对比无提示、在线预测和预知提示；记录 WAF、垃圾回收停顿与 P99。误分类若反转收益，则不应暴露该提示。
跨层故障能否被检测和恢复：注入半写入、校验错误、陈旧元数据、连接器超时、worker 重启、推测回滚与模型升级；验证不返回错误 KV，并记录恢复时间与重算量。
共享范围的收益与风险曲线如何：按请求、用户、组织、公共语料逐级扩大命名空间，记录命中、路由倾斜、存在性泄漏和缓存中毒；若跨用户收益接近零，则全局索引只应保存公共对象。
上游变化能否做局部失效：对检索结果重排、工具输出追加和提示编辑记录真正受影响的 KV，比较全量重算、前缀失效和依赖图失效；以正确输出和节省计算共同评价。