ReasoningKV：用目标、时域与可逆性约束长推理 KV 动作

为“当前使用”校准的信号不应自动授权永久删除；ReasoningKV 让每个代理声明它预测什么、预测多远，让每个 KV 动作声明失败后能否恢复，再由运行时决定是否允许组合。

1. 背景与动机

长推理会持续生成 KV cache。系统通常用注意力、近期访问、稳定性或语义相似度来决定哪些页面留在 GPU、卸载到主存、降精度或删除。问题在于这些动作的错误代价不同：卸载保留权威副本，预测错了只是多一次 PCIe 读取；永久删除或无后备降精度一旦判断错，后续推理可能再也无法恢复。

现有工作已经说明这些信号各有边界。PASTA-ICLR24 证明注意力可以影响当前行为，但没有证明它忠实预测最终答案；ECHO-OSDI26 用原生稀疏选择器决定本步加载哪些页面，同时保留主存权威副本；LMCache-arXiv25 与 Strata-OSDI26 根据命中、恢复时间和带宽决定放置。它们分别解决“当前贡献”“下一步访问”和“按时可用”，并没有给不可逆动作一张通用许可证。

这个问题在思维模型和智能体工作负载中更重要：早期假设、测试失败或工具返回可能在数千词元后重新成为关键状态。模型越强，推理过程可能缩短，但也可能执行更多工具步骤并维护更长状态。系统需要的是可被反证的动作边界，而不是再发明一个“万能重要性分数”。

今天的缓存组件通常各自正确：放置策略只关心恢复时间，压缩策略只关心平均质量，预取策略只关心近期访问。本提案待验证的危险是组合时可能失去恢复路径。例如，卸载器把低复用页面放到主存，删除器随后把主存权威副本清掉；两个策略单独都满足自己的局部指标，组合后却可能失去恢复路径。随着推理框架插件化，这类跨组件错误比单个算法的精度差更难发现，也更难回滚。

因此，重要性不是一个标量，而是一条带作用域的证据。系统必须知道它预测的是当前贡献、未来复用还是答案影响，预测在多长时域内有效，以及错误后能否恢复。这是本提案试图建立的最小共同语言。

2. 问题与核心假设

本提案研究三个具体迁移：当前注意力→永久删除、稀疏 top-k 访问→删除主存权威副本、近期复用→无后备降精度。每个代理还驱动保留副本的卸载作为可逆对照。

• 核心假设：同一代理用于可逆动作时主要造成性能损失，用于不可逆动作时会在部分长推理请求上越过预登记的质量非劣界限；显式的目标—时域—可逆性契约可以阻止这种组合错误。
• 反证条件：三个迁移都跨模型通过预登记的质量非劣检验；或每个动作的独立策略无需共享元数据就能避免全部冲突。
• 成功标准：至少发现两类“单独合格、组合失败”的策略冲突，契约能拒绝冲突，并达到先导测量后冻结的质量、容量、TPOT 和 P99 门槛。

3. 核心方案

每个评分器为页面附加一张证书：证据目标、有效时域、置信度、来源和校准范围。例如，下一步 top-k 可以决定 GPU 驻留，却不能授权删除权威副本；未来 H 步复用预测可以决定卸载层级，永久删除则需要答案级证据或可验证重算。

每个动作声明自己是可逆还是不可逆、需要哪类证据、恢复路径和生效时间。运行时只在证书目标覆盖动作需求、时域覆盖生效期、版本一致且恢复时间满足 SLO 时授权。第一版只实现 GPU 驻留、主存卸载、无后备降精度和永久删除；SSD、远端缓存和语义索引不进入核心系统。

证书随 KV 页一起保存，并绑定模型、分词器、适配器、位置编码和会话片段版本。任何版本变化都会使旧证书失效。可逆动作还要登记权威副本与预计恢复时间；不可逆动作必须出示更强的质量证据。运行时明确返回“允许”“拒绝”或“要求回退”，而不是悄悄调高预算。这样故障和策略冲突可以被重放，而不是只在最终答案变差后猜原因。

这张契约的价值必须超过“给每个策略多写一条规则”。强基线是各动作独立最优策略：若不共享目标、时域和可逆性元数据也能达到同等结果，新抽象被判定可替代。

4. 为什么能做成

AIME 2024、SWE-bench Verified 和 τ-bench 分别提供数学、真实仓库修复和多轮工具任务。只纳入自然输出达到 4K、16K 或 32K 的轨迹，并测量页面是否在跨越至少四分之一输出长度后仍会影响隐藏状态或答案；没有晚期回看的任务不能支撑主张。

实验覆盖 Qwen3-8B、Phi-4-reasoning-plus-14B 和 DeepSeek-R1-Distill-Llama-70B，同时观察强模型缩短推理过程与扩大智能体状态两种相反趋势。工程上可复用 vLLM 块表和 LMCache 主存后端，只新增离线反事实标注、证书检查和版本日志。

研究的第一阶段完全可以离线进行：对冻结轨迹分别执行可逆与不可逆动作，建立“代理目标—动作—结果”矩阵，再组合三个各自通过局部验收的策略。如果没有出现组合冲突，契约必要性立即被推翻，无需实现在线系统。只有测量成立后，才在 vLLM 中加入证书和动作清单。

最大证据风险是完整论文只证明这些代理没有获得跨目标授权，尚未证明生产系统正在普遍误用它们。因此本项目把组合冲突作为待测反例，不把它包装成已知社区错误。

5. 验证计划

要验证什么	工作负载 / 基线	指标与继续 / 终止门槛
代理跨动作是否失效	三模型 × AIME/SWE-bench/τ-bench；可逆动作对照	先导测量按基线方差冻结质量非劣界限；三个迁移都安全则推翻主假设
组合契约是否必要	各动作独立最优策略、静态安全默认值	至少两类单独合格但组合失败；独立规则等价则删除抽象贡献
系统收益是否存在	vLLM + LMCache 两级原型	先导测量后冻结最小 KV 容量增益门槛；TPOT/P99 门槛来自目标部署 SLO，没有 SLO 就不声称可部署
是否跨模型成立	三架构与自然长度分桶	强模型若持续缩短轨迹且不增加状态则收窄适用范围

6. 风险与转向

若跨目标失败和组合冲突都成立，形成 OSDI 级 KV 动作契约；若只有迁移边界成立而契约可替代，面向 MLSys 发布轨迹和负面抽象结果；若仅永久删除不安全，缩小为权威副本策略；若强模型消除长状态或全部迁移安全，则终止系统提案。

另一个风险是离线答案标签无法在线获得。ReasoningKV 不允许把未来答案信息带入运行时；它只用离线标签校准低成本代理。如果在线代理无法稳定预测跨目标风险，结果应降级为测量数据集和组合安全规范，而不是用昂贵验证器掩盖失败。

品味评估

独立评审为 4/5：工作负载、突破幅度、模型代际压力和抽象贡献通过。反直觉性不通过，因为当前完整证据只说明跨目标授权未经证明，不能证明它是普遍实践。最大残余风险是测量不到足够的真实组合冲突。

本提案基于 thinking-model-kv-cache。