原生稀疏注意力 LLM 的无损 KV Cache 预取与卸载（OSDI 2026）
原题：ECHO: Efficient KV Cache Offloading with Lossless Prefetching for Serving Native Sparse Attention LLMs
一句话总结：native sparse attention降低attention计算却不缩KV cache；ECHO将KV动态offload到host，以GPU-graph-compatible manager和基于index-score可预测性的lossless prefetch隐藏recall，长上下文generation throughput相对SGLang最高2.15×、vLLM最高4.1×。
问题与动机
DeepSeek-V3.2类模型在training时学出sparse attention，以lightweight indexer选top-k tokens，避免training-free pruning的精度损失。但所有历史KV仍需保存，HBM capacity限制并发；8×H200上单worker约只能容纳655K tokens。普通offload需在每层动态recall，被GPU graph capture与小块管理开销放大。
关键观察 / 隐含假设
- decode相邻query的index scores/selection boundary数值可预测，可提前召回下一步必选KV且不改变top-k结果。
- prefill query顺序提供inter-query lookahead，可将下一query recall与当前indexer计算重叠。
- sparse attention只访问选中KV，host pool可让effective batch突破HBM容量，但收益依赖indexer暴露early-selection signal。
核心方法
graph-friendly cache manager在captured graph内维护GPU pool block状态、eviction与recall，避免CPU launch/control破坏graph replay。Decode的intra-query prefetch利用selection boundary提前保证未来top-k所需block；prefill的inter-query prefetch跨query流水。fused GPU kernel把recall与indexer重叠，同时执行cache metadata处理，保证最终选中集合与无offload一致，因而“lossless”。
实验与结果
- 8×H20/H200类long-context workload中，full pool下相对SGLang/vLLM最高2.15×/4.1× generation throughput（图 12）。
- GPU pool限制200K tokens时相对SGLang最高3.10×；更严限制下最高4.12×（图 13）。
- InfiniteBench任务平均输出throughput提升2.83%–27.07%，long-tail小样本任务可能略输SGLang（图 14）。
- TTFT最多+7.9%；light load ITL +2.7%–27.8%，高load E2E overhead不超过7.2%，明确是throughput-first tradeoff（图 15）。
- intra-query prefetch在0.5/0.9 hit rate下latency最高改善1.29×/1.51×。
论断—证据表
| 论断 | 证据 | 边界 | 置信度 |
|---|---|---|---|
| offload突破HBM并提高长上下文吞吐 | 图 12/13 | native sparse model、8 GPU | 强 |
| prefetch不改变attention selection | 设计与correctness | score predictability成立 | 强 |
| graph-friendly管理开销低 | breakdown | 所测GPU/model | 中 |
| latency保持comparable | 图 15 | 高load较好、低load有退化 | 中 |
批判性分析
论证链条
设计紧扣native sparse attention的indexer，而非泛化到full attention。吞吐证据强，但light-load ITL最高+27.8%，故更适合capacity/throughput受限服务。score stability若因模型、position或adversarial query变差，lossless guarantee仍可fallback recall，却会失去overlap收益。
假设压力测试
核心假设一旦不成立，收益会下降或触发保守回退；部署前应覆盖负载漂移、资源争用和极端输入。
实验可信度
实验支持主要机制，但硬件、模型与工作负载范围限定了结论的外推能力。
局限与后续工作
- 在更多native sparse architectures验证selection predictability。
- 结合SLO-aware admission，在低load自动关闭offload降低ITL。
- 评估host-memory contention、NUMA与multi-tenant tail latency。