SparseKVGuard：用在线页面审计约束稀疏注意力的漏召回风险
两种稀疏策略可以拥有相同平均质量和平均读取量，却在少数请求上漏掉完全不同的关键页面；SparseKVGuard 用少量在线抽查决定接受、扩大预算或回退精确注意力。
1. 背景与动机
长代码和多轮工具任务会把跨文件定义、旧工具返回和用户约束留在很远的 KV cache 中。推理时稀疏注意力只读取少量页面，可以同时减少计算和 PCIe 流量，但选择器一旦漏掉关键页面，平均任务分数很难告诉运行时当前请求是否已经不安全。
现有工作已经解决了问题的一部分。BLASST-MLSys26 表明注意力内核可以跳过低贡献块；Twilight 用 top-p 让页面预算随注意力分布变化；Louver 对高于给定阈值的键提供零漏召回；ECHO-OSDI26 能把原生选择器命中的页面从主存补拉。它们分别优化预算、阈值内召回和数据通路，但没有回答：阈值以下的大量小贡献页面会不会聚合成少数请求的尾部错误，运行时能否在不扫描全量页面的情况下识别它。
这不是“再做一个更准的选择器”。真正缺少的是部署许可：平均质量合格的稀疏配置，是否能对当前请求给出作用域明确的风险判断。若可以，稀疏率就不再是全局配置，而是逐请求的接受、扩容或回退决策。
尾部风险之所以容易被隐藏，是因为长上下文任务的证据分布极不均匀。多数页面可以被安全跳过，少数跨文件定义或早期工具结果却可能在某一步突然决定输出。两个方法即使平均都读取 10% 页面、平均准确率只差不到一个百分点，也可能在不同请求上失败。生产服务真正需要知道的不是“平均稀疏率是多少”，而是“这个决定是否值得冒险”。
同时，安全不能靠无条件回退获得。如果每一步都扫描全量页面或做完整验证，稀疏执行失去意义。核心研究问题因此是：固定的少量额外读取，能否形成足够可信、又不吞掉系统收益的在线证据。
2. 问题与核心假设
本提案针对可回源未选页面、且存在精确稠密基线的推理时稀疏化。原生稀疏模型只作为接口边界，不要求与另一稠密模型逐词元一致。
- 核心假设：在固定选择器读取 10% 页面、平均任务质量与稠密基线等效时，不同选择器仍会产生显著不同的关键漏召回尾部；额外审计 5% 未选页面可以在词元分叉前区分低风险与高风险决定。
- 反证条件：Twilight、Louver 或简单分数裕量在相同平均读取量下达到同等错误安全率与 P99；或审计必须接近全量读取才有效。
- 成功标准：配对等效检验的 90% 置信区间完全落入 ±1 个百分点；错误安全判定率的单侧 95% 上界不超过 1%，请求风险预算为 1%；审计 P99 相对无审计稀疏基线回归不超过 10%，且相对精确稠密基线至少改善 20%。这些阈值分别来自最小有意义质量差异、部署风险预算和系统贡献门槛。
3. 核心方案
选择器先给出候选页面。SparseKVGuard 从未选页面中混合抽取选择边界附近页面和具有已知概率的随机页面，估计未选部分对当前注意力输出的残差。每个 KV 页面在创建时保存版本、校验和和值向量范数上界；元数据缺失或过期时不能宣称安全，直接扩大集合或回退。
审计窗口聚合当前解码步的全部层和注意力头，使用对自适应停止仍有效的全局置信序列。置信上界低于风险预算时接受当前集合，高于预算时扩容，样本不足或成本接近全量时执行精确注意力。形式保证只约束注意力残差；词元分叉和任务失败通过离线影子执行校准，关系不稳定时不得声称任务安全。
抽样同时利用两类页面：选择边界附近的页面更可能暴露漏选，均匀随机页面则防止审计器只看自己预期的错误。每个样本按已知包含概率加权，避免定向抽样产生乐观偏差。风险预算按请求的最大解码决定数分配；实际输出越界、元数据过期或无法覆盖全部层和注意力头时，请求级保证自动失效并触发扩容或回退。
4. 为什么能做成
数据面已有可复用基础：BLASST 能暴露块贡献，ECHO 能补拉 KV，OPKV-MLSys26 和 SolidAttention-FAST26 说明页面粒度与 I/O 布局会决定端到端成本。系统只需增加抽样器、风险判断和“接受 / 扩容 / 回退”接口，不必训练新模型或自建完整索引。
主要工作负载使用 LongCodeBench 的真实仓库问答与修复任务，以及 τ-bench 的零售、航空和工具 API 任务。实验覆盖 Qwen2.5-Coder、Llama-3.1 和 DeepSeek-R1-Distill 三个模型，分别搭配固定 top-k、Twilight top-p 和 BLASST 块阈值。动态预算按相同平均页面数与总字节校准，并报告 P50/P95/P99，避免用更重尾部换相同平均值。
实现路径也可以提前止损。第一阶段只做精确影子执行，验证相同平均质量是否真的隐藏不同尾部；第二阶段离线模拟审计，判断 5% 额外页面是否足够；只有前两步成立才接入 vLLM/SGLang 的 GPU—主存页面路径。核心统计假设可在单机验证，不需要先搭建多节点存储系统。
最大风险是注意力残差未必稳定预测词元分叉或任务失败。LongSWE-Bench 与 τ-bench 还必须先证明稠密模型能完成足够任务；否则只能研究缓存机制，不能报告质量等效。
所有被排除的任务和失败阶段都必须公开，不能只保留稠密基线成功且有利于审计的样例。
5. 验证计划
| 要验证什么 | 工作负载 / 基线 | 指标与继续 / 终止条件 |
|---|---|---|
| 平均质量是否隐藏尾部 | LongCodeBench、τ-bench；稠密、固定 top-k、Twilight、Louver | 质量差的 90% 区间须落入 ±1 点；尾部等价则推翻主假设 |
| 审计是否预测风险 | 三模型 × 三选择器；精确影子标签 | 注意力残差覆盖、词元分叉检出率；接近全量读取则停止 |
| 系统收益是否保留 | H100 PCIe、vLLM/SGLang、不同页面大小和负载 | 错误安全率上界 ≤1%；P99 相对稀疏回归 ≤10%，相对稠密改善 ≥20% |
| 保证是否诚实 | 元数据过期、决定数越界、抽样提前停止 | 无法构造全局置信序列时自动降为逐决定保证 |
6. 风险与转向
若风险契约和端到端收益跨模型成立，形成 OSDI 级逐请求稀疏执行接口；若只有尾部错位成立，面向 MLSys 发布失效轨迹与测量；若只能保证注意力残差，删除词元与任务安全主张；若 Twilight 或 Louver 已达到同等风险与成本，停止实现。
审计器还可能改变批次形状并制造新的 P99。验证必须同时报告抽样、索引、PCIe 读取、扩容和回退成本，不能只报选择器召回率。若安全请求的审计开销或高风险请求的回退使系统不再优于精确基线，风险检测可以保留为测量贡献，但系统主张失败。
品味评估
独立评审为 5/5：真实代码和工具工作负载、相同平均值隐藏尾部的反直觉预测、逐请求风险接口、跨模型反证和明确保证作用域均通过。最大残余风险是注意力残差到任务失败的校准可能不稳定，5% 审计预算也可能过贵。