深度调研（Probe）：MoE 专家权重与 KV 缓存的联合分层管理

阅读提示

**混合专家模型（Mixture of Experts，MoE）**只为每个词元激活少数专家，但全部专家权重仍要存放；**键值缓存（key-value cache，KV cache）**随上下文和并发增长。两者共同争用高带宽内存（high-bandwidth memory，HBM）。
**预填充（prefill）**一次处理输入，适合大矩阵计算；**解码（decode）**逐词元生成，常受权重或缓存读取带宽限制。
本文把“联合管理”限定为：同一控制器观察专家和 KV 的容量、访问、传输与服务等级目标（service-level objective，SLO），再决定下一单位 HBM、主存或链路预算给谁。两个独立旋钮并存不算联合管理。

一页结论

33 篇内部工作形成五条路线：专家异构执行、专家预测与放置、KV 分层传输、KV 内容缩减、共享资源与执行结构。组件已丰富，统一决策仍缺失。
2024 年前后的主问题是“怎样让单类对象离开 HBM”；2025–2026 年转向按阶段选择执行位置、为主存 KV 重写数据路径、以及让权重和 KV 共用物理显存。
最广的缺陷是局部预算：8/8 篇专家异构执行工作没有联合 KV 策略，12/12 篇 KV 分层或缩减工作没有联合专家策略。
“输入输出可以被计算隐藏”与“缓存命中就值得加载”都依赖条件；专家失配与 KV 失配同时发生时会争用同一链路，两个隐藏窗口不能相加。
proposal 前首先需要同请求、同时间轴的专家与 KV 访问轨迹，以及 HBM 二维预算扫描；否则无法证明复杂联合控制器优于两个简单控制器。

范围与证据

本调研纳入 33 篇仓库内工作，均有完整 wiki 论文页；另纳入 3 项外部产业或最新论文线索。范围包括会改变专家或 KV 存放、访问窗口、共享容量或传输资源的系统，不包括只优化训练优化器状态、纯专家通信或纯模型精度的工作。外部线索未启用 --ingest-missing，不进入原始论文层与 wiki 层。

研究版图

研究路线	核心问题	代表工作	当前边界
专家异构执行	专家不驻留 HBM 时在哪里执行、何时搬运	MOE-INFINITY-arXiv24、KTransformers-SOSP25、Wang-LocalMoEInference-OSDI26	大多把 KV 当固定占用，依赖低并发或特定主机
专家预测与放置	怎样预知热点并复制、迁移或聚合专家	Libra-ICLR26、CRAFT-MLSys26、LayeredPrefill-MLSys26	路由预测不观察同一请求的 KV 压力
KV 分层传输	怎样从主存、SSD 或远端层及时取回 KV	LMCache-arXiv25、Strata-OSDI26、DirectKV-OSDI26	只管理 KV，链路常被当作可独占资源
KV 内容缩减	怎样少保存或少搬 KV	FlexiCache-MLSys26、MoE-nD-arXiv26、IceCache-arXiv26	质量契约不同，不能都视作精确缓存
共享资源与执行结构	怎样在更高层重分显存、批次和传输	Prism-OSDI26、MorphServe-MLSys26、fabric-lib-MLSys26	尚无词元级专家与请求级 KV 的共同代价模型

分类依据是控制器直接回答的问题。MoE-Lightning-ASPLOS25 虽同时处理专家权重和 KV，主要角色仍是部署前异构执行搜索；Prism-OSDI26 真正共享物理页，却管理模型级权重而非路由专家。缺口因此不是少一个组件，而是缺把两种访问语义映射到同一预算的闭环。

时间脉络

总体阶段

分页管理单类状态 → 利用稀疏访问做异构卸载 → 建立多层 KV 存储 → 按阶段与硬件重写数据路径 → 共享物理显存，但尚未统一专家与 KV 策略

专家异构执行

2024 — MOE-INFINITY-arXiv24：从逐层卸载转向按请求激活图缓存专家，证明稀疏路由可指导主存专家缓存。
2025 — KTransformers-SOSP25、MoE-Lightning-ASPLOS25：前者让 CPU 执行多数专家，后者联合搜索 CPU 注意力、GPU 专家和权重传输；问题转为按阶段选择执行位置。
2026 — FluxMoE-arXiv26、Wang-LocalMoEInference-OSDI26：专家被分页或流式装入 GPU，长预填充与低并发解码走不同路径，固定的“CPU 算专家”不再成立。

KV 分层与数据路径

2023 — vLLM-SOSP23：分页让 KV 成为可分配块，但 CPU 交换仍主要是显存不足后的被动机制。
2024–2025 — CacheGen-SIGCOMM24、LMCache-arXiv25：KV 成为可压缩、可远端复用的持久对象，多层中间件出现。
2026 — DirectKV-OSDI26、Strata-OSDI26、ECHO-OSDI26：主存直读、传输布局重排和最终精确召回把“数据存在”与“按时可用”分开。

共享资源

2026 — DeepSeek-V4-arXiv26：模型侧同时压缩专家和长上下文 KV，改变卸载容量基线。
2026 — Prism-OSDI26：权重和 KV 在同一弹性物理页池中跨模型调节，但仍没有路由专家与请求 KV 的联合失配模型。

各类工作的演化

专家异构执行

共同目标：完整权重放不进 HBM 时，只搬运或执行当前需要的专家。

演化与分歧：MOE-INFINITY-arXiv24 和 OD-MoE-arXiv25 用预测与缓存减装载；KTransformers-SOSP25、CoX-MoE-DAC26 与 ContextAwareMoE-CXLNDP-arXiv25 在 CPU 或近数据设备执行；FluxMoE-arXiv26、Wang-LocalMoEInference-OSDI26 在长预填充时流式送往 GPU。MoE-Lightning-ASPLOS25 进一步联合搜索 CPU 注意力和 KV 位置，但没有在线共同仲裁。

共同边界：8/8 篇都没有让 KV 命中、上下文长度与专家失配共同决定下一次搬运。

专家预测与放置

共同目标：利用路由的时间或层间局部性提前预取、复制或聚合专家。

演化与分歧：LatencyOptimal-MoELB-INET4AI25 把迁移代价加入负载均衡；Libra-ICLR26 预测下一层；CRAFT-MLSys26 按层分配副本；LayeredPrefill-MLSys26 通过层分组提高复用。

共同边界：4/4 篇主要评价专家命中或吞吐，未观察同一请求的 KV 读取时刻；路由稳定不等于 KV 热点稳定。

KV 分层传输

共同目标：扩大可复用上下文容量，并让慢层加载不阻塞 TTFT 或解码。

演化与分歧：LMCache-arXiv25 提供多层对象；CacheGen-SIGCOMM24 减少网络字节；CacheBlend-EuroSys25 在加载与部分重算间折中；SuperInfer-MLSys26、DirectKV-OSDI26 利用高带宽主机互连；Strata-OSDI26 解决碎片布局与就绪时间；ECHO-OSDI26 提供稀疏注意力的最终精确召回。

共同边界：7/7 篇都不管理专家权重，其重叠收益不能与专家装载收益相加。

KV 内容缩减

共同目标：减少需驻留或传输的 KV，而不只是改变位置。

演化与分歧：Kitty-MLSys26 量化通道，FlexiCache-MLSys26 区分注意力头，SkipKV-MLSys26 删除语义冗余，MoE-nD-arXiv26 按层选择压缩，IceCache-arXiv26 用语义聚类改善选择。

共同边界：5/5 篇都没有把质量风险与专家失配延迟放入同一个 SLO 决策。

共享资源与执行结构

共同目标：在单对象策略之上重组显存、批次、传输或执行边界。

演化与分歧：vLLM-SOSP23 建立分页基础，Prism-OSDI26 让模型权重与 KV 共用物理页，MorphServe-MLSys26 降低权重精度扩大 KV，DeepSeek-V4-arXiv26 从模型结构降低两者容量。其余工作改善传输、动态执行、中间张量、全局批处理或注意力解聚。

共同边界：9 篇中只有 Prism-OSDI26 与 MorphServe-MLSys26 显式在权重与 KV 间调整容量；二者都不利用词元级专家路由，也未覆盖 SSD 上两类对象的竞争。

跨工作共同缺陷

共同缺陷	覆盖范围	为什么是系统性问题	已有缓解与剩余缺口
两类对象各自局部预算	专家执行 8/8、KV 分层与缩减 12/12，跨 4 条路线	多留专家减少每词元失配，多留 KV 扩大上下文与批次；两者共用 HBM 和链路	Prism-OSDI26共享容量但不观察路由；MoE-Lightning-ASPLOS25联合静态搜索但缺在线闭环
重叠窗口被重复计算	涉及异步装载的 15 篇中 12 篇	两类失配同时发生时共用 PCIe、主存控制器或 SSD 队列，两个“可隐藏”区间不能相加	Strata-OSDI26把加载纳入调度；仍无双失配实验
访问预测只看一种信号	预测或重要性驱动的 11/11 篇	路由热度与 KV 重要性按不同尺度变化，单信号无法决定共享资源优先级	专家与 KV 各有预测器，尚无统一轨迹和误差归因
慢层被简化成容量和带宽	使用 CPU、SSD、CXL 或远端层的 16 篇中 13 篇	小 I/O、队列长尾、NUMA 和固定内存会改变失配代价	Strata-OSDI26、DirectKV-OSDI26处理部分路径；SSD 共同布局仍空白
精确性与退化缺少共同契约	有近似或多回退路径的 10 篇中 9 篇	专家延后、KV 量化、淘汰和重算产生不同误差，只看吞吐无法判断安全性	ECHO-OSDI26保证最终精确召回；其余缺逐请求质量和回退日志

计数来自本调研的路线与证据卡审计，分母只包含缺陷适用的工作。

关键争议

CPU 执行专家，还是只保存专家

KTransformers-SOSP25、CoX-MoE-DAC26 支持 CPU 执行；FluxMoE-arXiv26、Wang-LocalMoEInference-OSDI26 在长预填充中把权重送往 GPU。条件化解释是：低并发解码适合 CPU 带宽型矩阵向量乘，长预填充适合 GPU 大矩阵乘。需要按输入长度、批次、主存带宽与 PCIe 代际画交叉曲线。

KV 命中后加载，还是重算

LMCache-arXiv25 支持长前缀加载；CacheBlend-EuroSys25 表明非前缀块需部分重算；Strata-OSDI26 表明命中数据也可能因碎片 I/O 未就绪。专家装载会继续推高加载成本，所以命中不是充分条件。

模型侧压缩会缩小还是扩大联合管理价值

DeepSeek-V4-arXiv26、Kitty-MLSys26 与 MoE-nD-arXiv26 降低单对象容量，看似削弱卸载需求；但系统可能用节省空间扩大上下文和并发，再次耗尽 HBM。必须在相同质量与业务负载下测总需求反弹。

产业实践与学术缺口

NVIDIA Dynamo KVBM 已覆盖 GPU、主存、磁盘与对象存储 KV 层级，却不管理 MoE 专家；官方对层级容量的防抖建议说明慢层并非透明。
vLLM 增量式专家卸载 RFC 提出 CPU 固定内存、固定 GPU 专家缓存与异步预取，但专家缓存仍与 KV 预算分开。
Tutti 用 GPU 原生对象和 GPU io_uring 改造 SSD KV 路径，说明控制路径本身会成为瓶颈；对象仍只有 KV。
本地 MoE 运行时已有专家驻留旋钮，Dynamo、LMCache、FlexKV 已有 KV 层级旋钮。两个旋钮并存早于一个统一控制器，公开资料却缺同机双失配轨迹。

候选空白

专家与 KV 的联合边际收益曲线：下一 GiB HBM 给谁更能减少 SLO 违约尚无人系统测量。
双失配带宽仲裁：同一步专家与 KV 同时失配时，缺少在搬运、CPU 执行、重算和降级之间选择的共同队列。
路由—注意力联合轨迹格式：尚无公开轨迹把每层专家、KV 块、传输与请求 SLO 对齐到同一时间轴。
SSD 上两类对象的共同布局：专家页只读且模型级复用，KV 页追加写、请求级复用并会失效；共同 I/O、写放大与垃圾回收未被研究。
类型化回退与质量边界：精确加载、CPU 执行、专家延后、KV 解压与重算需要不同正确性标签。
模型结构变化下的策略迁移：不同 MoE 的专家数、激活数、KV 布局与精度差异尚无可移植代价模型。

关键未知与测量

下一 GiB HBM 的边际收益是否稳定：扫描专家缓存预算×KV 预算，覆盖短对话、长检索、多轮工具和长推理；记录吞吐、TTFT、TPOT、P99、两类失配率与字节。若最优分区频繁翻转，静态预算器被推翻。
两类失配是否时间相关：同步记录每请求、层与解码步的专家、KV 块和后端队列，计算共同突发概率。若近似独立且不争资源，两个简单控制器可能足够。
双失配时哪种动作最优：比较先专家、先 KV、CPU 执行、重算与压缩加载，输出按硬件和阶段分层的交叉曲线。
联合预测是否有信息增益：在同等模型大小与开销下比较路由信号、注意力信号和联合信号；用误取字节、停顿和 P99，而非只用准确率。
设备效应是否翻转优先级：在主存、NVMe、GPU 直接存储与远端内存重放同一轨迹，扫描 I/O 大小、队列深度和并发干扰。
联合回退能否审计质量：逐请求保存回退原因并与精确基线比较输出和任务分数；若漂移无法归因，先限制为精确路径。