面向内存解耦缓存的同步放大治理（OSDI 2026）

原题：FORGE: Mitigating Synchronization Amplification for Memory-Disaggregated Caching Systems

一句话总结：FORGE 观察到 RDMA 内存解耦会把缓存的热度维护、驱逐和碎片回收放大成主要网络瓶颈，因此把对象按写入时间和热度组织成组，以无竞争 FIFO 管理组、在组接近驱逐时才同步细粒度热度，并在 RNIC 片上内存中加速同步；在真实负载上相对基线最高取得 4.5× 吞吐和 7.5× P99 延迟改善，命中率平均提高 1.14×。

问题与动机

内存解耦（Disaggregated Memory, DM）让计算节点（CN）和内存节点（MN）独立扩展，但缓存的后台管理仍需要 CN 跨节点维护。论文测量显示，RDMA 原子操作比普通读写更昂贵，还会干扰并发读；传统 LRU、SIEVE 以及采样式 Ditto 的热度更新和逐对象驱逐因此挤占 Get/Set 的带宽与尾延迟。

现有方案各有代价：组级管理减少同步次数，却可能把冷热对象混在一起；逐对象热度准确但同步频繁；FIFO 避免热度追踪，却可能误删仍然热门的旧对象。对象大小变化还会带来跨节点垃圾回收和外部碎片问题。FORGE 将这些问题统一为“同步放大”问题，并重新设计管理粒度和同步时机。

关键观察 / 隐含假设

观察 1：后台同步会成为 DM 缓存的主路径瓶颈。 在 YCSB、Twitter 等负载中，LRU 的 RDMA 流量中热度追踪占 57.4%、驱逐占 29.2%；Ditto 中两者仍占 45.9% 和 18.0%（图 3）。
- 依赖假设：Get/Set 对延迟敏感，而 RDMA 访问和原子操作远慢于本地内存。
- 可能失效场景：若工作负载几乎没有驱逐，或网络带宽远高于计算需求，同步优化的收益会下降。
观察 2：写入时间能提供廉价的组内访问相似性，驱逐前的热度又能进一步净化组。 写入时分组和热度重组都降低了组内 reuse time 的变异系数（图 5）。
- 依赖假设：同时写入的对象具有相关生命周期；工作负载存在时间局部性。
- 可能失效场景：对象写入与读取生命周期完全无关时，组级驱逐会牺牲命中率。
观察 3：FIFO 的驱逐顺序可预测，因此热度不必在每次命中后立即同步。 只有进入队首附近驱逐窗口的组才需要全局热度。
- 证据强度：强。论文用最坏情况下的 RNIC 操作吞吐推导检测间隔和 3.4× 安全裕量（§5.2）。
假设 1：驱逐窗口足够大，CN 能在组真正被驱逐前发现并刷新所有本地 OFM。 这是 lazy synchronization 正确工作的时序前提。
- 证据强度：中。论文给出物理上界分析，但生产环境中的多 RNIC、突发写入和调度抖动仍需验证。

核心方法

FORGE 将缓存对象放入固定大小的组。Get/Set 仍按对象访问，避免读写放大；后台管理则按组进行。CN 在本地维护 Object Frequency Map（OFM），用组 ID 和组内序号定位 1 字节频率计数，不保存长对象键。组满后进入基于环形数组的 FIFO 队列，固定大小的组也降低了外部碎片。

队列使用两个由 RDMA_FAA 更新的游标，不依赖全局锁。每个节点携带周期号、组指针和虚拟 Segment。Segment 大于零的热门组被重新放回队尾并递减 Segment；Segment 为零的组才进入驱逐流程。这样保留 FIFO 的无竞争性质，同时让较热的组停留更久。

热度同步采用“进入窗口即刷新”。CN 周期性读取 FIFO head，发现新组进入窗口后，把本地 OFM 以批量 RDMA_FAA 写入 MN。同步目标优先使用 RNIC 片上内存中的 OFM Ring Array；该区域只需覆盖并发驱逐窗口，因此 16 KB 即可容纳约 16K 个对象的计数。没有片上内存时可退回 MN 主存，正确性仍成立。

组被驱逐时，FORGE 用 Two-Way Index Map（TWIM）保存从组内对象到哈希表槽位的反向索引。CN 读取 OFM 后只搬移热门对象，并直接更新对应槽位，无需扫描整个组或重新查找哈希表。新组因此由热对象组成，下一轮更可能被保留。

设计取舍

组级协调换取同步效率：批量驱逐、固定块分配和 OFM 批量更新减少 RDMA 操作，但组大小会影响冷热混合程度；大组吞吐更好，小组相似性和命中率可能更好。
FIFO 换取可预测时序：FIFO 让 lazy synchronization 成为可能，却并非天然适应长期热门的旧对象；虚拟分段和热度重组增加了元数据与实现复杂度。
RNIC 片上内存换取更低原子操作开销：片上内存最高可降低 RDMA_FAA 开销约 5×，但容量有限，系统必须严格限制驱逐窗口映射范围。

实验与结果

在 YCSB A–E、20% cache size、3 个 CN 的测试中，FORGE 相对所有基线取得 2.0–8.7× 吞吐、1.3–5.9× P50 延迟和 3.9–13.3× P99 延迟改善（图 13）。
在 Wikimedia、CloudPhysics、MSR 和 IBM 真实负载中，FORGE 相对 Ditto 和 GLCache-DM 取得 1.3–4.5× 吞吐、1.2–4.0× P50 和 1.2–7.5× P99 改善，命中率平均提高 1.14×（图 14）。
面对 Meta、Twitter 的可变对象大小，组级回收避免了逐对象分配造成的碎片；相对 GLCache-DM，吞吐提高 1.61–1.93×，P50/P99 分别降低 1.43–2.00× 和 1.67–1.95×（图 15）。
多 MN 扩展时，FORGE 相对 GLCache-DM 提高 1.54–2.02×（图 16）；在 256 个 CN 线程的消融实验中，TWIM、无竞争 FIFO 和 lazy synchronization 分别带来最高 55.8%、57.5% 和 18.9% 的吞吐增益（图 18）。
缺失同步优化的边界也被测量：miss penalty 从 100 µs 增至 500 µs 后，IBM 负载因线程等待而网络利用率下降，FORGE 的相对优势缩小（§6.6）。

论断—证据表

论断	证据	评测边界	置信度
DM 缓存的后台同步会压制 Get/Set	LRU、SIEVE、Ditto 流量分解（图 3）；RDMA 原子操作测量（图 2）	RDMA、100Gbps、3 CN/1 MN	强
lazy synchronization 能减少流量且保持热度准确	进入驱逐窗口后刷新 OFM；吞吐和延迟消融（§5.2、图 18）	FIFO、可预测驱逐窗口；最坏速率由硬件上界估计	强
组级管理能同时改善性能和碎片	真实可变对象大小负载（图 15）	Meta/Twitter，固定 testbed，单 MN 受带宽限制	中-强
热度感知 FIFO 能弥补纯 FIFO 的命中率损失	YCSB A–D 命中率提高 1.12–1.21×（图 18）	主要是 Zipf θ=0.99 和选定 trace	中

批判性分析

论证链条

主链条是闭合的：RDMA 原子同步昂贵，组级操作减少操作数；FIFO 提供可预测驱逐时刻，允许延迟热度同步；TWIM 和虚拟分段补偿组级策略的命中率损失。论文还用流量分解、消融和可变对象大小实验分别覆盖了这三步。局部结果不能直接推出所有 CXL 环境都能获得相同收益，因为实现和实验主要依赖 RDMA one-sided verbs。

假设压力测试

写入时间与生命周期相关是组策略的核心统计假设。论文在多类 trace 上测量相似性，但没有展示访问模式随时间突变、租户混合或强对抗键分布时的退化曲线。lazy synchronization 依赖 head 检测及时；多 CN 调度延迟、网络拥塞或组大小动态变化可能使安全裕量变小。虚拟分段还可能在热门组反复重入时增加队列工作量，论文未给出长期极端 skew 下的上界。

实验可信度

基线包含 Ditto、重实现的 S3-FIFO-DM 和 GLCache-DM，并为后两者加入若干 DM 友好优化，比较相对公平。工作负载覆盖 YCSB、对象存储、块 I/O 和真实缓存 trace，指标覆盖吞吐、P50/P99、命中率、规模与碎片。不过 Ditto 多 MN 支持缺失，主要扩展比较排除它；测试集群规模也小于生产部署，结果对更大规模 CN/MN 和 CXL 硬件的外推有限。

系统性缺陷

FORGE 引入 OFM、TWIM、版本号、环形队列、虚拟分段和片上内存映射，控制路径较复杂。论文说明了版本一致性和 RNIC 退化路径，但对 CN/MN 故障恢复、队列节点丢失、RNIC 重启、跨 MN 迁移和在线参数调节讨论不足。缓存对象搬移期间的哈希槽更新也使恢复和可观测性成为运维问题，论文未给出故障实验。

局限与后续工作

局限 1：评测以 RDMA 为主；CXL 适配只给出设计讨论，没有真实 CXL 测量。
局限 2：组大小、驱逐窗口和检测间隔仍需配置，论文虽做了敏感性实验，但未提出面向任意负载的自动控制器。
后续工作 1：在 CXL 共享内存和多 MN 故障注入环境中测量窗口检测、热度一致性和恢复时间。
后续工作 2：用在线统计检验判断写入时间是否仍能预测生命周期，在相关性下降时自动缩小组或切换管理策略。
后续工作 3：评估多租户隔离、CN 本地缓存和对象迁移同时存在时的 tail latency 与公平性。

Awesome System Papers Wiki

探索

paper-osdi26-yang-zhijun