深度调研（Probe）：面向长上下文的次二次稀疏注意力

阅读提示

稠密注意力（dense attention）计算所有允许的查询—键对；稀疏注意力（sparse attention）只计算其中一部分。原生稀疏表示模型从训练起就按该选择规则定义输出；推理时稀疏化则近似执行一个原本稠密的模型。选择器（selector）决定访问哪些历史位置，路由器（router）把查询映射到候选块。固定预算 top-k 每次保留相同数量，概率质量预算 top-p 则按分数分布动态确定数量。图形处理器（graphics processing unit，GPU）的高带宽内存（high-bandwidth memory，HBM）保存计算热数据；输入输出（input/output，I/O）表示设备、主存和存储之间的数据移动。P99 是第 99 百分位延迟。

次二次指整段序列的注意力计算增长慢于长度平方；它不自动代表线性，也不保证端到端服务同阶。Subquadratic Sparse Attention（SSA）是 Subquadratic 公司为 SubQ 模型命名的稀疏机制。本文所说的精确 top-k 只表示没有漏掉稀疏模型选择器定义的集合，不表示与稠密注意力等价。“功能性上下文窗口”指模型能可靠利用的上下文，而非接口允许输入的最大长度。

范围：本调研以 Subquadratic 的 SSA 主张为外部切入点，但不把未公开机制当成已证事实。核心证据覆盖精确稠密基线、原生稀疏模型、稠密模型的推理近似、KV 放置协同和分布式执行；线性注意力与状态空间模型只作为路线边界。

一页结论

研究版图不是“稠密或稀疏”二选一，而是五条路线。 精确稠密内核持续提高强基线；原生稀疏模型让训练适应选择；推理近似兼容既有模型；缓存与存储协同把少算转成少搬；分布式执行处理稀疏掩码造成的新不均衡。
时间脉络显示研究焦点三次迁移。 2017–2024 年主要减少精确注意力的数据移动；2025 年 NSA 证明原生稀疏可以与硬件共同训练；2026 年 DeepSeek-V4、ECHO、SolidAttention 和 db-SP 把选择器、缓存、存储与多 GPU 负载纳入同一问题。
最显著的共同缺陷是端到端证据和质量保证分离。 直接采用动态选择的 11 篇内部工作中，11/11 没有同时给出逐请求失效检测、稠密回退和生产尾延迟；稀疏算法或缓存论文 12/12 都只覆盖有限模型与长度组合，没有统一的同质量强稠密基线。
关键争议可以条件化，而非二选一。 原生训练更可能在高稀疏率下保持质量，推理近似更容易部署；内容相关选择更适合远距证据，固定块更适合硬件；少量稠密或压缩全局分支可能是保护机制，也可能只是训练尚未学会完全稀疏。
SubQ 的公开证据已比旧版更完整，但机制仍不可审计。 官方技术报告和模型页面展示了模型与基准，仍明确不披露 SSA 机制；它应被视为产业信号，而不是“线性且无损”已获学术验证。
提案前最需要测量选择成本、漏召回风险和功能性长度。 只有同时记录选择器时间、实际读取字节、端到端延迟、位置分桶质量和失败样例，才能判断次二次复杂度是否转化为可部署优势。

范围与证据

本次从 Sparse-Attention、Attention、KV-Cache、LLM-Inference、RAG 和 AI-Infra 向下复核 17 篇内部论文页。3 篇为 complete/full-text，14 篇为 needs-review/full-text；后者不单独支撑共同缺陷或关键争议。

外部证据包括 SubQ SSA 官方说明、SubQ 1.1 Small 技术报告、Twilight、Louver 与 NVIDIA MiniMax M3 部署说明。外部工作未进入 wiki，不启用 --ingest-missing。

研究版图

研究路线	核心问题	代表工作	当前边界
精确稠密强基线	不改变数学语义时，数据移动还能减少多少	FlashAttention、FlashAttention-4	计算对仍是二次，硬件进步不断抬高稀疏方案门槛
原生可训练稀疏	能否让模型从训练起学会只访问少量历史	NSA、DeepSeek-V4、MSA	需要重训，选择器与训练目标仍有离散边界
稠密模型的推理近似	能否不重训就跳过低贡献块或复用历史摘要	BLASST、MAC-Attention、SparseSpec	兼容性强，但质量依赖工作负载稳定性
缓存、索引与存储协同	稀疏选择如何变成更少 KV 驻留和传输	ECHO、IceCache、SolidAttention	索引、随机 I/O 和争用可能吞掉理论收益
多设备稀疏执行	动态掩码如何避免 GPU 间负载和通信不均	db-SP	现有证据偏视觉生成，语言模型多租户服务仍弱

SSA 若确实按内容选择少量位置，最接近“原生可训练稀疏”路线，而非 FlashAttention 的实现优化。其能否线性扩展，取决于路由成本是否随上下文次线性增长、候选数量是否有界，以及数据布局能否让所选位置连续可读。

时间脉络

总体阶段

稠密注意力成为默认 → 以数据移动优化精确语义 → 固定块稀疏作为扩展
→ 原生内容选择与训练协同 → 选择器、缓存、存储和多设备联合设计
→ 带风险保证的动态稀疏（尚未完成）

精确基线：从避免中间矩阵到异步硬件流水

2017 — Transformer-NeurIPS17：以全局自注意力换取短依赖路径和训练并行，同时已把限制注意力范围列为未来方向。
2022 — FlashAttention-NeurIPS22：证明保持完全相同的注意力也能通过分块与在线 softmax 大幅减少高带宽内存访问；稀疏方法从此必须与强 I/O 感知基线比较。
2024 — FlashAttention-2-ICLR24 与 FlashAttention-3-NeurIPS24：工作划分和异步流水逐代适配 GPU，说明精确基线不是静态目标。
2026 — FlashAttention-4-MLSys26：在 Blackwell 上把特殊函数、共享内存和张量核心失衡纳入设计，稀疏方案只有在减少真实数据移动且覆盖选择开销时才有优势。

原生稀疏：从固定模式到内容相关路由

2025 — NSA-ACL25：把压缩、top-k 块选择和滑动窗口共同用于训练与推理，首次形成硬件友好的原生稀疏主线。
2026 — MSA-arXiv26：把文档检索直接变成模型后半层的可训练选择，稀疏注意力开始替代“先检索、后阅读”的外部流程。
2026 — DeepSeek-V4-arXiv26：混合压缩稀疏与强压缩全局层，显示工业级百万词元模型仍保留多种精度和覆盖机制。
2026 外部信号 — SubQ：公开主张完全次二次、内容相关和任意位置检索，但技术报告明确不披露机制，尚不能判定其选择器复杂度和稠密回退。

推理近似：从静态掩码到在线复用

2022 — FlashAttention-NeurIPS22 的块稀疏扩展：证明规则块掩码可与高效内核结合，但选择不随内容变化。
2026 — BLASST-MLSys26：直接利用在线 softmax 的块最大值跳过低贡献块，不再预计算代理分数。
2026 — MAC-Attention-MLSys26：利用相邻解码查询相似性复用历史注意力摘要，命中时旧 KV 读取不随上下文增长。
2026 — SparseSpec-MLSys26：精确验证产生分数，下一轮稀疏草拟消费分数；近似被放入可验证的推测执行框架。

系统协同：从少算到少搬和均衡

2026 — ECHO-OSDI26：完整 KV 留在主存，GPU 只保留原生稀疏模型选中的集合；“少算”第一次系统化转为“少驻留”。
2026 — IceCache-arXiv26、OPKV-MLSys26 与 SolidAttention-FAST26：分别优化语义页、可召回页面基底和固态硬盘布局，访问粒度成为与稀疏率同等重要的变量。
2026 — db-SP-MLSys26：动态稀疏扩展到多 GPU 后，头间和块间不均衡成为新的拖尾来源。

各类工作的演化

精确稠密强基线

共同目标：保持稠密注意力定义不变，只减少中间存储、同步和硬件空闲。

演化与分歧：FlashAttention 1 以分块和重算减少内存访问；2 改进工作划分；3 用 Hopper 异步流水；4 为 Blackwell 的特殊函数和共享内存瓶颈重写 softmax 与流水。它们共同说明渐近复杂度不能单独预测实际速度。

共同边界：所有查询—键对仍需计算，长序列最终会遇到算力和 KV 带宽墙；但它们不断提高稀疏方法必须击败的基线。

原生可训练稀疏

共同目标：让模型在训练中适应受限访问，使高稀疏率不只是推理时近似。

演化与分歧：NSA 以压缩、选择和窗口三分支覆盖不同依赖；MSA 在后半层按文档路由并压缩 KV；DeepSeek-V4 混合两类压缩注意力层。三者都保留某种全局摘要或覆盖路径，没有证明单一固定 top-k 足够。

共同边界：需要预训练或大量持续训练，离散选择对未选位置缺少直接梯度；模型质量证据又绑定特定规模、语料与基准。

相关工作：NSA-ACL25、DeepSeek-V4-arXiv26、MSA-arXiv26

稠密模型的推理近似

共同目标：不重新训练模型，利用在线分数或时间局部性减少实际计算和 KV 读取。

演化与分歧：BLASST 跳过 softmax 质量明显不足的块；MAC-Attention 复用相似查询的摘要；SparseSpec 把近似路径限制在可被精确验证的草拟阶段；FlexiCache 则按头稳定性减少 GPU 驻留，但仍需召回。

共同边界：稳定性假设会在阶段切换、分布外输入和低命中时失效。固定成本在短上下文、小批次或低稀疏率下可能反超稠密内核。

缓存、索引与存储协同

共同目标：让稀疏计算真正减少 GPU 驻留和跨层传输，而不是只减少浮点运算。

演化与分歧：ECHO 以主存全历史保证原生 top-k 可召回；IceCache 用语义近邻提高页纯度；OPKV 聚合离散关键词元并复用热点页；SolidAttention 以粗块和层间预取适配固态硬盘。它们分别优先保证精确选择、索引质量、通用基底和慢存储顺序访问。

共同边界：所有方案都引入索引、元数据和不规则 I/O。主存或存储争用、NUMA 和 P99 仍缺少系统证据。

相关工作：ECHO-OSDI26、IceCache-arXiv26、OPKV-MLSys26、SolidAttention-FAST26

多设备稀疏执行

共同目标：动态掩码扩展到多 GPU 时，避免某些头或设备承担过多有效块。

演化与分歧：db-SP 在视频扩散模型中用头级和块级两层划分，再在线选择并行策略。它表明“均分词元”不等于均分稀疏工作，但证据尚未覆盖自回归语言模型的动态批处理。

共同边界：掩码本身的迁移、重分片和跨请求组合可能增加通信；训练中的跨去噪步骤稳定性也不保证解码中的跨请求稳定。

相关工作：db-SP-MLSys26

跨工作共同缺陷

共同缺陷	覆盖范围	为什么是系统性问题	已有缓解与剩余缺口
缺少逐请求失效检测和稠密回退	动态选择内部工作 11/11，跨原生、近似和存储协同	平均分接近会掩盖少数漏掉关键证据的无声错误	SparseSpec 只把近似用于草拟，ECHO 补拉稀疏 top-k；仍不能检测选择器自身错了
选择成本和实际字节常未进入同一账本	稀疏算法与缓存工作 12/12	理论稀疏率可能被索引、元数据、非连续读取和调度吞掉	IceCache、ECHO、SolidAttention 有分解；仍缺统一端到端协议
质量证据绑定有限模型和长度	稀疏算法与缓存工作 12/12	选择规律随模型规模、位置编码、任务和上下文长度变化	NSA、DeepSeek-V4、MSA 扩大模型或长度；仍无跨架构复现和位置分桶失败样例
与强精确基线的比较会过期	直接报告注意力或服务加速的工作 10/10	FlashAttention 随硬件持续演进，旧稠密基线会放大稀疏收益	FA4 提供 Blackwell 新基线；仍缺同硬件、同精度、同内核栈复测
多租户尾延迟和资源争用缺失	涉及主存、存储或多 GPU 的工作 5/5	稀疏访问更随机，争用会放大尾部而非平均值	SolidAttention 测背景存储，db-SP 处理设备不均；仍缺生产流量、P99 和故障

分母只统计该缺陷适用的内部工作。外部 SubQ 不进入计数，因为机制仍未公开；它的证据边界单独列在产业实践与外部证据卡。

关键争议

1. 稀疏注意力是质量损失还是有益正则化？

NSA 在所测 27B 混合专家模型上部分任务超过全注意力，支持过滤噪声可能有益；推理近似工作则通常把稠密输出当作需要逼近的目标。两者并不矛盾：原生训练可以让模型适应结构，事后删除则改变既有模型。争议应按训练方式、稀疏率和任务条件分层，而不是笼统回答“稀疏是否降质”。

2. 内容相关选择是否值得额外路由成本？

NSA、MSA、DeepSeek-V4 与 SubQ 支持按内容选择远端证据；规则块和 BLASST 更容易映射硬件。内容路由只有在相对固定模式显著提高召回，且索引成本小于减少的 KV 读取时才占优。IceCache 中索引已成主要耗时，是明确反例边界。

3. 完全稀疏是否需要全局或稠密保护分支？

NSA 保留压缩全局摘要与窗口，DeepSeek-V4 混合不同压缩层；SubQ 则公开声称无需传统稠密注意力。现有证据更支持“不同依赖需要不同覆盖路径”，但不能证明保护路径必须是稠密，也不能从未公开机制确认 SubQ 是否存在等价的全局摘要。

4. 稀疏应从预训练开始，还是只在推理时加入？

原生训练允许模型重分配信息，却需要昂贵重训；BLASST、MAC-Attention 和 FlexiCache 兼容现有模型，但只能利用已经存在的稀疏性。部署存量模型时推理近似更现实；新训练百万词元模型时原生路线更有机会达到高稀疏率。

5. “任意位置可检索”是否等于长上下文推理？

大海捞针、RULER 和多轮共引用测量找到远端片段，不等于整合多项证据、保持状态或完成长代码任务。SubQ、MSA 和 DeepSeek-V4 的最大输入长度与功能性长度之间仍有距离，必须用位置分桶、多跳和长生成共同测量。

产业实践与学术缺口

Subquadratic 的 SSA 路线

SubQ 官方页面称模型支持 1200 万词元并采用内容相关的次二次稀疏注意力。SubQ 1.1 Small 技术报告提供模型规模和评测，却明确把 SSA 的实现机制排除在报告之外。因此公开资料无法回答路由复杂度、候选预算、训练掩码、是否存在全局摘要或回退，以及宣称的线性扩展在哪个长度区间成立。

MiniMax 的稀疏注意力

NVIDIA 的 MiniMax M3 部署说明显示产业模型已把预过滤稀疏注意力与 TensorRT-LLM、SGLang、vLLM 和 Dynamo 部署结合。厂商资料报告百万词元下的计算与读取收益，但没有开放训练与选择器消融；这说明系统接入正在成熟，独立质量和尾延迟证据仍落后。

开源运行时

ECHO、OPKV、SolidAttention 和外部 HiSparse 都在把稀疏选择映射到主存或存储。产业缺口已从“有没有稀疏内核”转为“运行时是否理解模型的选择语义、版本和回退”，而现有通用服务接口通常只暴露页面和张量，不暴露每请求风险预算。

候选空白

1. SSA 主张的独立机制与复杂度复核

SubQ 已公开模型与结果，但没有公开选择器、预算、索引和训练方法。缺的是可重复的机制级审计，而不是再转述最大上下文或融资信息。

2. 选择器—页面—内核—调度的统一成本模型

现有工作各自优化选择、页面、传输或内核，没有一个模型同时预测选中比例、地址离散度、索引时间、批次组合和端到端延迟。

3. 带可证明或可检测漏召回风险的在线稀疏

Louver 追求阈值以上零漏召回，ECHO 只保证原生 top-k 补拉；仍缺把任务风险、阈值和动态预算连接起来，并在高风险时回退。

4. 思维模型中的阶段化稀疏行为

探索、验证、工具调用和最终回答可能需要不同窗口与远距访问。现有稀疏工作很少按长推理阶段报告选择集合、失败和预算。

5. 多租户稀疏注意力的质量—成本隔离

共享主存、PCIe、固态硬盘和索引服务时，一个请求的随机召回可能拖慢其他请求；尚无每租户的质量预算、带宽配额和尾延迟隔离机制。

6. 功能性上下文窗口的统一评价

最大输入长度、单针召回、多针检索、长生成和代码仓库任务衡量不同能力。领域缺少同一模型从 32K 到百万词元的分位置、分任务和分失败类型曲线。

关键未知与测量

1. 内容相关路由相对固定块真正多召回了什么？

最小测量：在相同保留预算下比较滑动窗口、规则块、内容 top-k 和理想稠密分数，按近端、远端、多跳和思维阶段报告关键证据召回、任务分数与路由时间。

2. 选择器何时成为主要瓶颈？

最小测量：在 32K、128K、1M 和更长上下文扫描批次与预算，分别记录路由、索引、KV 读取、softmax、通信和调度时间，并计算真实读取字节。

3. 漏掉一个关键块会造成什么错误？

最小测量：从稠密注意力或原生选择器得到候选关键块，逐个删除并记录首个输出分叉、最终答案、置信度和自我修正；比较平均稀疏误差与最坏样例。

4. 原生训练能承受多高稀疏率？

最小测量：固定模型规模、词元预算和数据，在训练初期稀疏、稠密转稀疏和仅推理稀疏三种条件下扫描预算；报告训练成本、短任务、长任务和分布外质量。

5. 是否需要全局保护路径？

最小测量：对压缩摘要、少量稠密层、全局词元和纯 top-k 做析因实验，固定总计算与 KV 字节；在单针、多跳、长生成和代码任务上报告收益及失败位置。

6. 稀疏率能否转化为生产服务收益？

最小测量：在相同硬件与最新精确内核上，用泊松到达和真实长度轨迹测试 TTFT、TPOT、P50/P99、吞吐、主存与存储流量、索引 CPU 和能耗，并注入链路争用。

7. SubQ 的功能性长度是多少？

最小测量：若可获得 API 或权重，在 128K 至 12M 上固定任务难度和证据位置，使用多针、跨文件代码修改、长程状态追踪和反事实干扰；报告分位置成功率、成本和重复运行方差。

覆盖缺口

SubQ 的模型和技术报告公开，但 SSA 的具体机制仍未公开；本文不能验证“线性”“完全稀疏”或 1200 万词元质量保持的因果来源。
Twilight 与 Louver 尚无 wiki 论文页；本次只保留外部证据卡。
稀疏注意力 concept 已覆盖多项 2026 工作，但缺少线性注意力、状态空间模型和混合架构的独立 paper wiki 页，本文只把它们作为边界而非核心证据。
17 篇内部证据中 14 篇为 needs-review/full-text，包括 Transformer、FlashAttention 系列和多数 2026 新工作。
语言模型的多 GPU 稀疏训练与在线服务证据仍弱；db-SP 的主实验来自视频扩散模型，不能直接外推。