OSDI 2026
136 篇论文呈现出一个明显转向:系统研究不再把硬件、runtime、SLO 与正确性拆开优化,而是在 LLM/GPU、解聚内存、可编程网络、生产可靠性和经典 OS 路径之间做跨层协同。
概览
OSDI 2026 的最大论文簇是 AI 系统,但内部已分化为三条线:在线 LLM serving 关注 KV cache、phase interference 与 memory sharing;训练/RL 系统关注角色异构、故障恢复与动态资源迁移;LLM 作为系统组件时,则必须与静态分析、符号验证和运维 workflow 组合。Strata-OSDI26、RollArt-OSDI26 与 NeuroSymbolicProof-OSDI26 分别代表这三种边界。
传统 OS 主题并未被 AI 吞没,而是被新硬件重新激活。RamRyder-OSDI26、Megalon-OSDI26、Espresso-OSDI26 把 CXL 用作容量、coherence metadata 与 SSD resource pooling 的不同控制面;UCCL-Tran-OSDI26、BALBOA-OSDI26、UEP-OSDI26 则从 software transport、开放 RNIC 与 GPU proxy 三层重做网络路径。
生产系统证据的比重显著增加:AEGIS-OSDI26 覆盖 3500 万 GPU-hours,Alibaba-ASI-OSDI26 直接分析 hyperscale GPU fleet,OpenTela-OSDI26 报告 22 个月跨机构服务,CoreSec-OSDI26 聚合三年 70 万余 incident。这使论文的核心问题从峰值性能转向“在 drift、burst、fault 与多租户条件下是否仍成立”。
会议也反复挑战粗粒度抽象:page 内仍混有冷热对象(OBASE-OSDI26),paged KV hit 仍会因布局而阻塞(Strata-OSDI26),eBPF program-safe 并不等于 tenant-safe(vBPF-OSDI26),传统远端原子会产生 synchronization amplification(FORGE-OSDI26)。共同方法是把控制单位下沉到 object、record、coroutine、event 或 SM task。
论文分类
LLM推理、服务与内存系统(17 篇)
- ADAngel — DPR 计算模型。
- BatchGen — sequence coroutine暴露pause/resume/combine/partition/migrate primitives;cluster runtime按expert readiness、device…
- DirectKV — DirectKV取消staging,CUDA attention kernel直接访问CPU pinned/unified memory。它重排KV layout与coalesced access以减少remote t…
- DynamicPPServing — Dynamic Chunked Prefill 有两个版本。Greedy controller 每个 scheduling iteration观察 P90 TTFT/TPOT 相对SLO的slack和KV availa…
- ECHO — graph-friendly cache manager在captured graph内维护GPU pool block状态、eviction与recall,避免CPU launch/control破坏graph re…
- EcoServe — PaDG 在 instance 内优先连续执行 decode,积累 slack 后切到 prefill window;KV cache 始终本地,不发生 FuDG 的跨 instance copy。macro-inst…
- KAIROX — Live Pipeline 在 layer i attention 完成后运行 adjacent predictor 得到 i+1 active neuron,按 co-activation group/reorder…
- LMetric — router对每instance计算uncached input tokens和batch size的乘积,选最小score;扩展规则处理SLO、autoscaling与KV transfer。实现名LMetric/L…
- LocalMoE-Hybrid — Stream-Loading Prefill按layer/expert把weights流式送GPU,并与dense compute重叠,使GPU执行高吞吐GEMM;Distributed SLP用SmallEP在两张R…
- MPK — MPK 引入 tGraph:node 是单个 SM 上运行的 task,edge 是 producer/consumer task 的细粒度 dependency,event 汇聚前驱完成并释放后继。compiler …
- Murakkab — 开发者用 logical task、dependency、input/output 和可调 knob 描述 workflow,不固定 model 或 resource。Murakkab 将静态 Video Q/A、mu…
- OpenTela — 各allocation内agent通过CRDT-based gossip维护service/node状态,即使部分cluster不可达也能最终收敛;gateway统一vLLM/SGLang与cluster manage…
- Prism — kvcached balloon driver在GPU内提供可动态expand/shrink的model/KV pool;global scheduler根据SLO-weighted request rate与KV p…
- Sereno — Sereno借speculative decoding把一次长NPU inference拆成draft/verify边界,可在不丢progress处yield。runtime监测foreground activity/…
- SPEX — intra-query speculation在模拟reward/selection下提前生成候选branch,以predicted utility、KV reuse与GPU occupancy排序;真实reward回…
- Strata — Strata 用 GPU-assisted I/O 解耦 host 与 GPU 布局,将碎片重排放到设备侧并形成大传输;cache-aware scheduler 同时考虑命中位置和可用时间,以机会工作隐藏加载停顿。实…
- StriaTrace — StriaTrace用三原则限制常态成本:只trace key synchronization points、沿end-to-end critical path关联CPU/GPU/network events、仅异常窗…
AI训练、RL与集群系统(14 篇)
- AEGIS — cSensor在训练critical path执行轻量checksum/fingerprint或self-equivalence check,并输出异常候选与验证所需数据。每种机制封装为vTask,由cVerifier…
- Alibaba-ASI — 六个月 ASI trace。
- Cocoon — Cocoon 按GPU HBM、CPU DRAM和CXL memory的capacity/bandwidth把noise-history row/tile分布,GPU/CPU/NMP并行GEMV并与training o…
- DynaRL — central dynamic hypergraph记录component、data edge与resource;multi-level scheduler先定位bottleneck,再做GPU allocation/…
- Hetu v2 — 分层异构 annotation。
- Kareus — Kareus把全局组合问题拆成partition-local subproblems,以multi-pass multi-objective optimization分别推进total、dynamic、static e…
- OpGuard — OpGuard发现跨training stacks仍稳定的semantic operator boundaries,GPU侧生成lightweight fingerprints。Schedule-tolerant ma…
- RLinf — M2Flow从macro DAG生成temporal/spatial decomposition,估算critical stage与pipeline bottleneck;scheduler以实际device prof…
- RobustRL — control plane 的 phase-aware analyzer 为 trainer 与 rollout 分配不同 detector。trainer 只在 training phase 监测 5 分钟 Tens…
- RollArt — RollArt 分 resource/data/control 三 plane。用户用 hw_mapping decorator 将 training/prefill-heavy generation 映到 H800、…
- Seer — 拆分式 Rollout(Divided Rollout)。
- Tessera — Tessera 的 static planner 先从固定 pipeline schedule template 构建 overlap graph:node 是 virtual stage,edge 表示同 rank …
- TrainMover — TrainMover controller先在joiner上communication-free sandboxed warmup:拦截collective、记录必要tensor/shape并触发CUDA/framew…
- Weave — Weave 构造 co-execution group;组间用随机规划选择互补作业,组内用最优 round-robin 排序,并以 host-memory residency 避免频繁完整装载。它把 job-level…
LLM增强系统与AI应用(7 篇)
- Chen-LLMDataPipelines — Predictive Checkpoint Replication 利用 companion evaluation 的规律和 global namespace,在 evaluation 真正启动前把 check…
- Drs.NAS — Drs-NAS 以 superproxy 评价候选架构,在 differentiable search 中同时约束预测表现、parameter count 与 FLOPs;搜索只需 commodity CPU,最后才训…
- ECO — 机会定位。
- gigiprofiler — offline analyzer 将 file→class/struct→member→function→source 组织成带 comment/name/type/data-dependency 的 DAG。LLM …
- NeuroSymbolicProof — 作者实现 Isabelle REPL,暴露当前 goal/hypothesis、执行 tactic、counterexample tool 和 local automation。每个 node 是 proof stat…
- SDCHunter — SDCHunter 在集群中逐步隔离小型可疑 GPU group,再用触发故障的精确 training workload 和 input 做 execution replay;这把 diagnosis 从 generi…
- SMARTTalk — 离线阶段先把每个 A × n SMART 窗口按属性切成一维 temporal patch,同时构造捕获属性间共变的二维 patch。轻量 CNN 以 masked-day 预测、时间打乱/属性置换辨别等自监督目标学习…
加速器、编译与新兴硬件(11 篇)
- Blink — Blink 通过 binary instrumentation 在 function entry/exit 或用户指定点读取硬件 PMU counter,消除 interrupt delivery skid,并保证被 …
- GraCE — CUDA-Graph-aware Code Transformation(CGCT)从 InductorIR 中定位 CPU scalar、CPU↔GPU copy 或 CPU output,再借 debug mapp…
- MoonBright — MoonBright 将 bulk page-table materialization 搬到 device side;Always-Fresh allocation protocol 延迟 TLB coherence…
- Nixie — Nixie 作为系统服务统一协调显存分配、迁移与 kernel launch;采用双向交换和受控 pinned memory 降低切换代价,并以 MLFQ 让短交互作业优先于长后台作业。
- OBASE — OBASE 将逻辑 object identity 与地址分离。开发者标注可迁移 pointer field,Clang/LLVM pass 把它们改写为 Guide
并在 public API 边界和 dere… - qTPU — qTPU 提出 hybrid Tensor Network(hTN)抽象:programming model 声明统一图,compiler 做跨边界 rewrite、partition 与 cost/error opt…
- Syncopate — communication chunk abstraction描述data region、availability/dependency和backend,与local Triton kernel分离;plan可从exi…
- TileLoom — TileLoom在MLIR接收tile loops,生成spatial mapping(哪些tile instances分布到2D cores)和temporal order(单core执行顺序)。data reuse…
- Twill — Twill 把 modulo scheduling、跨 warp communication、同步和资源容量统一成 constraint optimization;求解器先寻找最小 initiation interva…
- UCSan — UCSan 通过编译插桩把选定函数及依赖变成 self-contained executable;运行时惰性初始化未知内存、解析外部调用,并结合 symbolic/concolic execution 探索路径,同时用…
- VTC — virtual tensor 是 (mapping F, physical pointers P),访问 V[x] 时由 F(x) 找到某个 Pj[y]。producer 可通过 virtual store 直接把 Q…
虚拟化、内存与资源解聚(11 篇)
- Blowfish — paravirtual guest tracker低成本识别THP内cold mappings,并通过shared interface告诉hypervisor;hypervisor直接解除/重分配HPA,保留guest…
- DVLA — Hierarchical predictor给出initial低延迟分类与不同horizon存活概率;online policy根据当前distribution动态划category/packing策略。系统量化每机l…
- InfiniDefrag — Infinite Address Manager回收free fragments并扩展连续GPA region,以memory trade将离散旧GPA换成新区;Host Memory Guard维护GPA–HPA m…
- JANUS — 跨世界职责分离。
- LiteSwitch — 位置相关内存分支(Location-Dependent Memory Branching)。
- M3U — M3U为migration场景定制lock-protected memory operations,分离不需互斥的检查/更新并批量化;lock-reduced parallel registration降低57%–66…
- Megalon — Megalon index replica 位于每 host DRAM,映射 object ID→LNR/local location 与 optional SCR record pointer。write 对 rec…
- mwait-sched — mwait-sched 将 mwait 重新设计为 virtualization-aware 调度原语:识别等待状态、按等待类型分类,并用可扩展的 multi-address proxy 代理监视与唤醒;hypervi…
- NEMO — NEMO rule声明过滤哪些read/write/tenant/address access,如何将其映射到有限counter region,以及对per-counter state执行increment/max/b…
- Soul — 论文提出 Generalized cache-Coherence Protocol(GCP):以 wait queue 做时间推广,以可变大小 cache line 做空间推广。Soul 在解耦共享内存平台实现 GCP…
- vBPF — vBPF 用 late binding 解耦 tenant program 与 physical hook:Sniffer 做事件归属,Dispatcher 以 O(1) lookup 代替线性遍历,compiler-…
存储、文件系统与数据管线(12 篇)
- CoPilotIO — CoPilotIO 采用 split queue:NVMe SQ 在 GPU VRAM,GPU 可直接填 command 和 ring doorbell;CQ 在 CPU DRAM,避免 application GPU…
- DeLFS — DeLFS 先把 SIT、NAT、SSA、current segment、bio 与 segment 划为 per-core domain,形成“一核一资源”的去中心化组织(图 3)。正常写路径优先访问本核元数据与 s…
- DINGO — Declarative IO 的 declare 接口接收若干 BlockSet、必须完成的集合数量 sets_needed、deadline 与 callback。任务可以一次声明完整扫描范围,IO Planner …
- Espresso — SSD architecture分解data-end/compute-end和metadata services;decentralized controller发现idle compute,重定向busy SSD r…
- Helmsman — ANNS-oriented storage backend 基于 SPDK bypass syscall/kernel,直接把 fixed-size cluster-list read 成批提交 NVMe hardwa…
- Jaber-S3Conformance — 每个 API 有 executable state machine model,只保留 functional semantics。SUT response 中无法预测但合法的 request ID、Date、ETag …
- LogDrive — LogDrive暴露低层durable records/positions,不负责全局sequencing;可用shim包裹S3等store,再做striping提高throughput或quorum replicat…
- Oxbow — Oxbow含四组件:application-linked oxLib暴露fast/application-aware API;trusted H-Server执行核心FS logic;thin kernel illuF…
- Timelock Drive — drive controller内小型TD checker提供read/write/timelock interface;block写入后在duration内任何主体都不可modify,称transient immut…
- Umap — Communication Manager(CoM)把 page-level request 放入 priority/indexed aggregation queue,合并连续 region 成 DFS-native…
- WiseCode — 模板展开(template-unfold)先在设备允许的 α 上限内选择最宽 (n_msr,k_msr) MSR 模板,再重复实例化并合并相同 sub-stripe index,直到形成目标 (n,k,α)。每个 ch…
- WriteGuards — WriteGuard 原语。
数据库、索引与缓存(7 篇)
- ARCTIC — node将version/state/pointer等放进可由128-bit CAS原子更新的metadata,不增加ART之外的pointer indirection。structural modification先…
- DPA-Store — DPA-Store 在 DPA memory 中放置 lock-free learned-index tree;到 leaf 后从 host-side replica 取 value。写入先在 DPA 批量缓冲,结构更…
- FlowANN — tiered graph按estimated window placement edges;discover时xCopier发async host fetch,GPU继续其他nodes,dynamic coordina…
- MDK — 内存性能曲线。
- Merlin — Merlin为对象维护低成本fine-grained signal,将frequency、recency/reuse与cache-size-aware position统一进pattern characterizati…
- Ote — Ote只symbolically track影响query/condition的小类operations,执行路径产生带path predicate的SQL transcript;之后将conditioned quer…
- S4-FIFO — LAH分离control/data plane:异步model读取aggregate cache features,周期性输出S3-FIFO parameters;S4-FIFO增加可调第四queue与promotio…
网络、通信与分布式协议(22 篇)
- Ambulance — 每个 view 同时有快的 leader “sportscar” lane 与较慢但不等待 timer 的 backup “truck” lane。leader 路径有更少 sequential protocol st…
- BALBOA — BALBOA 在 Coyote v2/AMD Alveo U55C shell 上实现完整 bidirectional RoCEv2。RX/TX pipeline 以 AXI4-Stream 串接 IP、UDP、IB/…
- Bodega — roster 是复制状态机内的一致 metadata,把每个 key/range 映射到允许直接回答 read 的 responder node 集合。它 generalize single leader:leader…
- CoreSec — 每个 telemetry agent 对候选 entity 输出 healthy、unhealthy 或 indeterminate,并带 PAM-style control flag。requisite 失败可立即否…
- DGC — 解耦式标记引擎(Disaggregated marking engine)。
- Duhu — Segment ownership 与 Duhu-RM。
- FARLock — 每把锁维护 local 与 remote MCS-style queue、global serving ticket,以及仅由两个 queue head 使用的 Peterson lock。request 先按类型 e…
- FORGE — FORGE 将相似缓存对象分组,以 group-level synchronization 降低远程原子频率;用无争用、hotness-aware FIFO 选择冷组,并延迟到必要时才更新热度。RDMA NIC 片上逻…
- hS — orchestrator解析shell control-flow graph,在window内让未来command instances进入各自sandbox。executor通过filesystem tracing/C…
- Jetpack — client并发发送到fast replicas与original leader path。无冲突/可交换command由supermajority在1 RTT确认;conflict/failure回退原路径。Jetp…
- MAC — 元数据放置与命令接口。
- Pluto — Static partial mirroring依据partition/algorithm访问关系预选productive remote data。Mirror-free architecture不保留副本,remot…
- POEGA — POEGA 先在 resident proxy graph 上产生近似结果并指导 out-of-memory refinement;fused kernel 和 bound-based pruning 并行处理 sna…
- Pompe-SRO — equal-opportunity condition形式化候选slot selection probability;SRO提供secret-then-reveal random value,有SGX trusted …
- Quark — Quark 把 executor 占有模式改为每个 task 按需创建独立 secure-container instance。Slots Ring 限制每个 job/stage 的可运行并行度,Quota Manag…
- SANI — 亲和性感知的 kernel 分发器。
- SBB — 每个 worker 独占 CPU、local run queue、timer 与 NIC Rx/Tx queue。Linux patch 将 LAPIC timer interrupt 通过 UINTR 直接交给当前 …
- Sepia — Sepia推导DDIO write与CPU read在reserved/all ways中的placement行为,用page color控制DMA buffer落到不同LLC sets;allocator结合traf…
- SPADE — 相对重要性。
- Spice — Snapshot Hybrid ELF(SHELF)保留 ELF 风格 program header,但每个 segment 带 page-granular interval tree,可把 VA range 中的 h…
- UCCL-Tran — UCCL-Tran(uTran)解耦 RDMA data/control path:NIC 保留高速数据搬运,host software 执行 transport control,并以 multipath 避免 flo…
- UEP — UEP保留GPU产生token-level routing command,却只把紧凑descriptor推给CPU shared queue;pinned multithreaded proxy通过portable …
云资源管理与调度(3 篇)
- MUSCHED — MUSCHED 增加 VIP scheduling class,跟踪 IPC 交互依赖,并通过可插拔 userspace policy 决定提升与回收;内核机制负责低开销执行,策略层保留不同设备和场景的可演化性。
- PeeR — PeeR 修改 eBPF JIT,在 verifier 判定安全的 helper site 前插入 per-CPU budget flag check。未超时只多 1–2 cycles;超时则进入 site-speci…
- Rakaia — Linux module在receive path增量parse configured RPC framing,形成message descriptors并直接调度到available worker;message A…
可靠性、可观测性与运维(6 篇)
- DiTing — 中心与节点协作。
- libDSE — StateObject 与 action。
- PIMS — 缓冲复用与故障域对齐。
- PowerSight — 每个 rack 有 design power D,但上游 panel、switchboard 与 main switch 才是集中管理点。forecast RPB 在 pre-EVT/EVT/DVT 阶段结合 benc…
- RT — regular stream type 是每一行所有可能字符串的 language;regular command type 是输入、输出 type 对。RT 在 POSIX ERE 上增加 intersection …
- TypeCraft — DWARF 类型解析。
安全、隐私与正确性(15 篇)
- Acumen — 每个 operation 带 version vector 与按用户维护的 history hash chain。receiver 检查 causal dependency、sender chain prefix 和 …
- Aletheia — 形式层把 global application state 定义为各 datastore state 的并集,用 read/write/delete 及跨库 relation 描述 integrity。referent…
- Arca — Arca process 与 effect。
- GOODKIT — 共享 VMM 的 observer VM。
- Ichnaea — ichnaea_register_obj(addr,size,name,type) 建立 object/page metadata,并用 pkey_mprotect 给 page 标同一 key、当前 thread 禁…
- iLand — iLand把ARM instruction decode成有限micro-operations,由提前签名/编译进app的atomic execution units解释,因此运行时不生成unsigned code。a…
- jwmalloc — Uniform slabs 与 pooling。
- Mohabi — 作者系统性disaggregate SpiderMonkey的data structures/control flow,用类型标注区分sandbox pointer/host pointer,并自动生成跨边界marsh…
- MuShell — μShell hardware 在每个 vFPGA 前放置 Capability Enforcement Unit(CEU)。CEU 的 endpoint 与 validator 只允许持有相应 object/memo…
- Nested-SEV — Nested-SEV 提供两种模式:SEV virtualization 以独立 context 隔离 L2,SEV passthrough 通过 context decoupling 让 L1/L2 共享 conte…
- RamRyder — hypervisor/guest协同维护page→channel mapping,按VM bandwidth/capacity allocation做channel isolation或sharing;controll…
- Spain — front-end 在有理数域上生成 approximate R1CS,使每条 constraint 允许 bounded residual。Spain 将 assignment/error norm commitme…
- USEC — Resource-centric policy template直接锚定file、process、IPC、socket等semantic resource class,并描述allowed principals和rea…
- vBOIDs — BOID 抽象。
- ZENO — integrity zone 运行 commodity PostgreSQL,表中 sensitive field 替换为 FID;privacy zone 包含 proxy、plaintext operator、ma…
操作系统内核、运行时与开发工具(11 篇)
- Incr — analysis phase用isolated effect tracing和probes记录read/write/environment,推断dependency graph;re-execution比较progra…
- kSTEP — kSTEP 让 kernel-space driver 用 event API 描述 task create/wakeup/freeze、cgroup 与 kthread 操作、CPU topology/capacit…
- LifeLine — LifeLine 采样对象 reference updates,用 edge mutability 把 object reference graph 切成多个 lifetime-affinity subgraphs;目…
- MIMESYS — 每个 1-second window 的 executable 表示为 M stressors × K threads 的 activation fraction;Fleetbench/stress-ng primit…
- Osprey — 双 pass 执行。
- Quota-Marketplace — 周期性市场清算。
- Svalinn — 基于 credit 的准入控制。
- Try — try
创建 user/mount namespace,把 host directories 作为 OverlayFS lowerdir、临时 writable upperdir 组成 compon… - µUSB — record阶段在VM/real driver上变异input并抓取MMIO/DMA/control flow;program analysis用trace约束源码,lift出USB driver template与s…
- ValScope — 统一近似模型。
- Xkernel — 离线分析从 DWARF/source-to-binary mapping 和 symbolic execution 找到常量首次进入 register/memory 的 critical span(CS),构造与具体 …
研究趋势
资源控制从静态 placement 转向可回收、可迁移的在线状态。 Prism-OSDI26 把 model weights 与 KV 作为 elastic balloon;DynaRL-OSDI26 在 rollout/trainer/tool 之间迁移 GPU;RamRyder-OSDI26 动态改变 guest page 到 memory channel 的映射。三者共同把“已分配资源”改写为可随 phase 和 SLO 重整的 working set。
数据移动优化从减少字节转向改变执行位置与布局。 DirectKV-OSDI26 让 attention 直接读 CPU-resident KV,DPA-Store-OSDI26 把 learned-index traversal 推入 DPA,MAC-OSDI26 把 page metadata 操作放到近内存设备,VTC-OSDI26 则用 index mapping 消除 physical tensor materialization。位置、粒度和 layout 已成为同一设计变量。
可靠性机制开始按语义分层。 AEGIS-OSDI26 用廉价 cSensor 与延迟 cVerifier 分离检测和确认;RobustRL-OSDI26 按 trainer/rollout role 选择检测与恢复;SDCHunter-OSDI26 用触发故障的原 workload/input replay 替代 generic stress test。系统不再假设一种 heartbeat、checksum 或 benchmark 能覆盖所有故障。
硬件 fast path 与软件 control path 重新解耦。 UCCL-Tran-OSDI26 保留 RNIC data path、把 transport decision 移到 CPU;CoPilotIO-OSDI26 保留 GPU submission、把 completion polling 移到 CPU;UEP-OSDI26 让 GPU 发 compact command、由 proxy 执行 vendor-specific verbs。这一趋势用少量额外 hop 换取可演化性和跨 vendor 支持。
形式化与静态分析更强调可部署接口。 Aletheia-OSDI26 从跨 microservice data constraint 编译 SSA analysis,Jaber-S3Conformance-OSDI26 把 executable model 接入 S3 CI/CD,NeuroSymbolicProof-OSDI26 将 Isabelle intermediate state 变成逐步训练和验证接口。贡献重点从“能证明”转到“如何进入持续工程流程”。
设计空间矩阵
| 论文 | 工作负载 | 瓶颈 | 机制 | 资源 | SLO / 正确性 | 规模 |
|---|---|---|---|---|---|---|
| Acumen | collaborative-editing、crdt、cryptography | 端到端加密让 cloud server 无法理解或合并 edit;客户端本地维护 CRDT 并广播 encrypted operation 可以保密,… | 每个 operation 带 version vector 与按用户维护的 history hash chain。receiver 检查 causal… | 软件/通用服务器 | - 在 GCP c2-standard-16、5 用户交替执行 Automerge 论文 trace(182,315 inserts、77… | 未报告 |
| ADAngel | llm-inference、quantization、mixed-precision | W4A8 等 APQ 在精度与压缩间表现良好,但 GPU Tensor Core 不原生支持任意不对称 operand。padding、bitwise… | DPR 计算模型 | GPU | - 在 Jetson AGX Orin 上的 Llama-3-8B W4A8 prefill,ADAngel 相比 TensorRT-LL… | 未报告 |
| AEGIS | distributed-training、silent-data-corruption、gpu-reliability | Silent Data Corruption不会触发ECC/fail-stop,却可污染gradient、loss和最终模型;万卡训练中单点微小错误会… | cSensor在训练critical path执行轻量checksum/fingerprint或self-equivalence check,并输出异… | GPU | - ByteDance生产部署累计3.5×10^7 GPU-hours,发现18个SDC incidents、13个faulty GPUs… | - ByteDance生产部署累计3.5×10^7 GPU-hours,发现18个SDC incidents、13个f |
| Aletheia | microservices、static-analysis、data-integrity | microservice 允许每个团队独立选择 SQL、NoSQL、cache 或 message broker,却也把原本单库内可声明的关系拆散。跨… | 形式层把 global application state 定义为各 datastore state 的并集,用 read/write/delete … | 软件/通用服务器 | - 七个 3–31 service、2–21 datastore、最多 4,462 LoC/170 RPC 的 e-commerce、so… | 未报告 |
| Alibaba-ASI | gpu-cluster、workload-characterization、scheduling | GenAI 与传统 DNN、训练与在线/离线推理共享多代、多厂商 GPU fleet。即使需求持续饱和,空闲 GPU 也可能因资源 shape 不匹配… | 六个月 ASI trace | GPU | - 六个月 trace 覆盖 155,410 GPUs、14M jobs 和 81 个部门;在线推理占作业数一半以上,且超过 99% 的 … | - 六个月 trace 覆盖 155,410 GPUs、14M jobs 和 81 个部门 |
| Ambulance | bft、consensus、state-machine-replication | production BFT/SMR 的 replica 常因 I/O contention、GC、data sync 或 network blip … | 每个 view 同时有快的 leader “sportscar” lane 与较慢但不等待 timer 的 backup “truck” lane。l… | 软件/通用服务器 | - AWS 多 region 部署使用 m6i.12xlarge、30 GB gp3、12.5 GB/s network,512-byte… | region 部署使用 m6i.12xlarge、30 GB gp3、12.5 GB/s network,512-byte… |
| Arca | operating-system、serverless、continuation | serverless 希望以毫秒级 task 精细调度,但现有 Linux process/VM snapshot 要数百毫秒;WebAssembly… | Arca process 与 effect | 软件/通用服务器 | - 128-way 创建/销毁中,Arca process 平均 32.2 µs,WebAssembly 为 110 µs,Linux p… | 未报告 |
| ARCTIC | concurrent-data-structure、adaptive-radix-tree、lock-free | hash map快但无range scan,skiplist/树有序却常依赖lock;已有lock-free trie/SMART的indirecti… | node将version/state/pointer等放进可由128-bit CAS原子更新的metadata,不增加ART之外的pointer in… | 内存/CXL | - 80 threads、七种key distributions下,相对lock-based ART:YCSB-C 1.3×,YCSB-A… | 未报告 |
| BALBOA | rdma、smartnic、fpga | RDMA 已承担大量 cloud traffic,但 ConnectX/BlueField 等 NIC 的 RoCE transport、conges… | BALBOA 在 Coyote v2/AMD Alveo U55C shell 上实现完整 bidirectional RoCEv2。RX/TX pi… | NIC/网络、FPGA/SmartNIC | - FPGA/RNIC/switch hardware cluster 中,BALBOA 与 commercial ConnectX-5/… | mercial ConnectX-5/7 互通,单/多 QP 下达到 100 Gbps line rate,并支持 swi… |
| BatchGen | llm-inference、batch-inference、coroutine | batch inference关注整批completion/throughput而非单request latency;MoE per-expert b… | sequence coroutine暴露pause/resume/combine/partition/migrate primitives;clust… | 软件/通用服务器 | - 设置:8–128 H20/H200 GPUs、DeepSeek等batch workloads,对比SGLang-Optimi… | 未报告 |
| Blink | profiling、performance-counter、mobile-systems | 移动 compiler optimization 经常只改善 1%,因此 profiler 不仅要低 variance,更不能系统性误判方向。Huaw… | Blink 通过 binary instrumentation 在 function entry/exit 或用户指定点读取硬件 PMU counte… | 软件/通用服务器 | - 实验平台为 Huawei Mate 60 Pro、KIRIN 9000S(4 big + 4 little core)、OpenHar… | 未报告 |
| Blowfish | virtualization、disaggregated-memory、memory-overcommit | far memory将page swap降至微秒,但software tracking/remapping变成瓶颈。host accessed-bit… | paravirtual guest tracker低成本识别THP内cold mappings,并通过shared interface告诉hyperv… | 内存/CXL | - reclaim与restore速度相对HyperAlloc分别2.48×、2.14×。 | 未报告 |
| Bodega | consensus、linearizability、leases | geo-replicated consensus 为容灾把 replica 分散到多个 region,read-majority workload 却… | roster 是复制状态机内的一致 metadata,把每个 key/range 映射到允许直接回答 read 的 responder node 集合… | 软件/通用服务器 | - Summerset async-Rust KV store 实现 Bodega、Leader/Quorum Leases、EPaxos… | 未报告 |
| Chen-LLMDataPipelines | llm-training、data-pipeline、hdfs | 大模型训练持续优化 GPU compute、parallelism 与 collective,却常把 data pipeline 当成被动供数层。pr… | Predictive Checkpoint Replication 利用 companion evaluation 的规律和 global n… | 软件/通用服务器 | - characterization 覆盖连续 90 天 30,000 个 production job,模型从 billion 到 tr… | 未报告 |
| Cocoon | differential-privacy、ml-training、cxl | DP-SGD 每 iteration 加独立 Gaussian noise,累积后伤害 accuracy。新机制让后续噪声与过去 b̂−1 份 noi… | Cocoon 按GPU HBM、CPU DRAM和CXL memory的capacity/bandwidth把noise-history row/ti… | NIC/网络、内存/CXL | - 8×A5000/双Xeon/256GB characterization中,history offload后最佳CPU/GPU bas… | 未报告 |
| CoPilotIO | gpu-io、nvme、storage | GPU HBM 只有 40–192 GB,而模型状态和数据集已达数百 GB 至 TB,GPU 必须直接、按需访问 NVMe。CPU-centric G… | CoPilotIO 采用 split queue:NVMe SQ 在 GPU VRAM,GPU 可直接填 command 和 ring doorbel… | GPU、SSD/存储 | - 双路 Xeon Gold 6530(64 cores)、256 GB DDR5、A100 40 GB/H800 80 GB、四块 Sa… | - 双路 Xeon Gold 6530(64 cores)、256 GB DDR5、A100 40 GB/H800 |
| CoreSec | datacenter-network、root-cause-analysis、clos | 大型 Clos fabric 持续存在 CRC、flap、upgrade 和 intermittent packet corruption 等 bac… | 每个 telemetry agent 对候选 entity 输出 healthy、unhealthy 或 indeterminate,并带 PAM-s… | NIC/网络 | - CoreSec 在 Azure hyperscale Clos fabric 上连续运行三年,处理超过 700,000 inciden… | 未报告 |
| DeLFS | file-system、log-structured-file-system、manycore | LFS 将随机小写转成顺序写,适合 flash,但 F2FS 等系统仍围绕固定数量的 log head、bio 与全局元数据结构组织写路径。论文的 p… | DeLFS 先把 SIT、NAT、SSA、current segment、bio 与 segment 划为 per-core domain,形成“一核… | CPU | - 在双路 128-core AMD EPYC 7713、96 GB DRAM、2 TB FireCuda 530 NVMe 上,FIO … | 128-core AMD EPYC 7713、96 GB DRAM、2 TB FireCuda 530 NVMe 上,FI… |
| DGC | garbage-collection、disaggregation、rdma | concurrent collector 减少 stop-the-world pause,却在 CPU-limited container 内让 ma… | 解耦式标记引擎(Disaggregated marking engine) | NIC/网络 | - SPECjbb2015 在相同总 CPU budget 下,DGC-SHM 相比 Shenandoah critical-jOPS 提… | 未报告 |
| DINGO | distributed-storage、hdd、maintenance-io | HAMR 等技术持续增加 HDD 容量,却没有同比增加单盘带宽与 IOPS,因此每 TB 可获得的 IO 快速下降。作者将容量增长最终受制于设备 IO… | Declarative IO 的 declare 接口接收若干 BlockSet、必须完成的集合数量 sets_needed、deadline 与 c… | SSD/存储 | - 在 10 节点 HDFS 原型、18 TB 初始数据、四类维护任务和 81 小时实验中,DINGO 每个 logical byte 只… | - 在 10 节点 HDFS 原型、18 TB 初始数据、四类维护任务和 81 小时实验中,DINGO 每 |
| DirectKV | llm-serving、kv-cache、zero-copy | 现有CPU KV offload仍需GPU staging buffer:先host→HBM,再由attention读HBM,既占capacity又产… | DirectKV取消staging,CUDA attention kernel直接访问CPU pinned/unified memory。它重排KV … | GPU、CPU、内存/CXL | - GH200上CPU–GPU transfer相对naive zero-copy最多降50%,GPU memory平均节省35 GB/4… | 未报告 |
| DiTing | observability、telemetry、resource-harvesting | SRE 调查一个 incident 往往先看 metric alert,再沿 trace 定位 component,最后查 log root caus… | 中心与节点协作 | 软件/通用服务器 | - 证据定位:§5.1–§5.3、图 9–12;覆盖 microbenchmark、production deployment 与… | 未报告 |
| DPA-Store | key-value-store、smartnic、learned-index | 远程内存 KV store 需要点查和 range query:host-based 系统受内核栈与 PCIe 限制,hash-based Smart… | DPA-Store 在 DPA memory 中放置 lock-free learned-index tree;到 leaf 后从 host-side… | FPGA/SmartNIC | 在 1 台 BlueField-3 server、6 台 client、100 Gb/s 网络和 5000 万 key dataset 上… | 在 1 台 BlueField-3 server、6 台 client、100 Gb/s 网络和 5000 |
| Drs.NAS | neural-architecture-search、recommendation-system、efficiency | 深度推荐模型的 NAS 通常需要反复训练验证,搜索耗时 5–18 GPU-hours;得到的 architecture 仍可能参数多、FLOPs 高,… | Drs-NAS 以 superproxy 评价候选架构,在 differentiable search 中同时约束预测表现、parameter cou… | 软件/通用服务器 | 在 Criteo、Avazu、KDD 三个 recommendation benchmark 上,Drs.NAS 将 SOTA basel… | mark 上,Drs.NAS 将 SOTA baseline 的 5–18 GPU-hours 搜索降到 commodit… |
| Duhu | cxl、disaggregated-memory、distributed-data-processing | Ray、Spark 等 DDF 以 in-memory object store 解耦 producer/consumer,却仍采用 pass-by-… | Segment ownership 与 Duhu-RM | NIC/网络、内存/CXL | 证据定位:§8.2–§8.3、图 6–15;包括 shuffle、TPC-H、RPC、fan-out 与 partial-acce… | 未报告 |
| DVLA | cloud-scheduling、virtual-machine、lifetime-prediction | 短VM占96% requests却少于2% core-hours,极少长VM贡献93% core-hours;一个长VM放错机器可长期阻止整机回收。既… | Hierarchical predictor给出initial低延迟分类与不同horizon存活概率;online policy根据当前distrib… | 软件/通用服务器 | - Trace特征:生产VM请求中约2.5%的长寿实例贡献93%的core-hours;实验将DVLA与静态lifetime-aw… | - Trace特征:生产VM请求中约2.5%的长寿实例贡献93%的core-hours |
| DynamicPPServing | llm-serving、pipeline-parallelism、chunked-prefill | Tensor parallelism(TP)在 NVLink 上可降低 latency,但每层 collective 在 PCIe/commodity… | Dynamic Chunked Prefill 有两个版本。Greedy controller 每个 scheduling iteration观察 P… | 软件/通用服务器 | - 单server、4×NVIDIA A100 40GB、AMD EPYC,Qwen2.5-32B/14B;trace含Azure Con… | 未报告 |
| DynaRL | reinforcement-learning、distributed-training、dynamic-scheduling | heavy-tailed rollout、multi-turn tool latency和随训练变化的component demand可浪费60% c… | central dynamic hypergraph记录component、data edge与resource;multi-level schedu… | 软件/通用服务器 | - 设置:64/128 GPUs、1.5B–32B models、math/agentic RL,对比RLinf、veRL和RLH… | - 设置:64/128 GPUs、1.5B–32B models、math/agentic |
| ECHO | llm-serving、kv-cache、sparse-attention | DeepSeek-V3.2类模型在training时学出sparse attention,以lightweight indexer选top-k tok… | graph-friendly cache manager在captured graph内维护GPU pool block状态、eviction与rec… | 内存/CXL | - 8×H20/H200类long-context workload中,full pool下相对SGLang/vLLM最高2.15×/4.… | 未报告 |
| ECO | code-optimization、llm、continuous-profiling | 直接让 LLM 扫描数十亿行代码既昂贵又产生大量低质量建议;即使某个改写在 microbenchmark 变快,语义 bug 或生产回归也可能造成事故… | 机会定位 | 软件/通用服务器 | - 生产部署已落地超过 6,400 commits、修改超过 25,000 行代码,持续节省数十万 normalized CPU core… | - 生产部署已落地超过 6,400 commits、修改超过 25,000 行代码,持续节省数十万 n |
| EcoServe | llm-serving、scheduling、gpu-cluster | LLM inference 的 prefill 是 compute-heavy,decode 是 memory-heavy,并分别受 TTFT 与 T… | PaDG 在 instance 内优先连续执行 decode,积累 slack 后切到 prefill window;KV cache 始终本地,不发… | GPU、内存/CXL | - 三套集群:64×L20 48 GB/10GbE、16×A800 80 GB/25Gb RoCE、16×H100 80 GB/NVLin… | - 三套集群:64×L20 48 GB/10GbE、16×A800 80 GB/25Gb RoCE、1 |
| Espresso | storage、cxl、ssd | enterprise SSD为sporadic worst-case I/O各自配置大量ARM/DRAM,JBOF中大多数时间闲置;PCIe blac… | SSD architecture分解data-end/compute-end和metadata services;decentralized cont… | SSD/存储、内存/CXL | - 设置:CXL JBOF prototype、mixed/bursty SSD workloads,对比conventional… | 未报告 |
| FARLock | rdma、distributed-lock、fairness | RNIC atomic 与 host CPU access 之间不保证原子性,所以传统 fair MCS/ticket RDMA lock 连本机 r… | 每把锁维护 local 与 remote MCS-style queue、global serving ticket,以及仅由两个 queue hea… | NIC/网络 | - 10 台 RDMA node,每 node 12 thread,1–240 lock 调 contention;remote crit… | 未报告 |
| FlowANN | vector-search、anns、gpu | billion graph量化后仍需258–350GB,无法fit 80–96GB GPU;按step同步host fetch使GPU每轮stall。 | tiered graph按estimated window placement edges;discover时xCopier发async host f… | GPU、CPU | - 设置:三种billion datasets、single H20/GPU,对比GPU/CPU-offload ANNS,以QP… | 未报告 |
| FORGE | disaggregated-memory、caching、rdma | 内存解耦缓存把 housekeeping metadata 更新变成远程原子操作,约 2000 ns 的 RDMA 同步比本地操作慢至少 20×;逐对… | FORGE 将相似缓存对象分组,以 group-level synchronization 降低远程原子频率;用无争用、hotness-aware F… | NIC/网络、内存/CXL | 在 YCSB 与真实 workload 上,FORGE 相对现有解耦缓存最高提高吞吐 4.5×,P50/P99 latency 分别降低 … | 未报告 |
| gigiprofiler | profiling、performance-debugging、llm | 传统 profiler 看 CPU、memory、lock、hot loop,却看不到应用内部的逻辑 resource。MySQL buffer po… | offline analyzer 将 file→class/struct→member→function→source 组织成带 comment/na… | 软件/通用服务器 | - MySQL、MariaDB、PostgreSQL、Apache HTTP Server、llama.cpp 的 15 个真实 issu… | 未报告 |
| GOODKIT | virtual-machine、introspection、security | LibVMI 类 out-of-VMM observer 隔离强,却需要 hypervisor 修改、跨 VMM 操作和频繁 pause target… | 共享 VMM 的 observer VM | 软件/通用服务器 | - 14 个 Phoronix target workload 上,GOODKIT observer 对 target slowdown … | 未报告 |
| GraCE | ml-systems、gpu、cuda-graphs | 现代 ML iteration 发射数百个仅运行数微秒的 kernel,而 CPU launch 本身约 5–10µs。CUDA Graph(CG)把… | CUDA-Graph-aware Code Transformation(CGCT)从 InductorIR 中定位 CPU scalar、CPU↔G… | GPU | - H100 上 25 个 TorchBench/HuggingFace/TIMM training/inference workload… | 未报告 |
| Helmsman | anns、vector-search、nvme | RedNote 搜索、推荐、广告管理数百 billion embedding、数百万 QPS,并要求平均 5–10 ms;为 latency 使用 i… | ANNS-oriented storage backend 基于 SPDK bypass syscall/kernel,直接把 fixed-size … | SSD/存储 | - public SIFT 与 5 个 production dataset(4M–10B),top-k 10–3000/producti… | 96-core EPYC、12×1.92 TB Gen5 NVMe、12×96 GB DRAM,对比 Di |
| Hetu v2 | distributed-training、spmd、heterogeneous-computing | SPMD 的优势是用户只写单设备视角程序,系统从 annotation 推导分片和通信;其隐含前提却是设备与 workload 对称。混用 H800/… | 分层异构 annotation | 软件/通用服务器 | Hetu v2 在 16 张 H800 与 32 张 H20 上训练不同规模 Llama,默认 4K context、global bat… | 未报告 |
| hS | shell、speculative-execution、parallelism | shell把任意语言binary串起来,subprocess对文件、网络和系统状态的effect通常是black box。PaSh/POSH依赖手写c… | orchestrator解析shell control-flow graph,在window内让未来command instances进入各自sand… | 软件/通用服务器 | - benchmark含Unix tools、analytics、bioinformatics、TERA-Seq等real scripts… | 未报告 |
| Ichnaea | memory-tracing、debugging、mpk | 调试 control-flow object、forensics 和 memory bug 常需要回答“谁在何时读写了哪个 object、改了什么”。… | ichnaea_register_obj(addr,size,name,type) 建立 object/page metadata,并用 pkey_m… | 内存/CXL | - Xeon Silver 4316、64 GiB、Ubuntu 24.04/kernel 6.14;SPECInt 与 PostgreS… | 未报告 |
| iLand | ios、dynamic-binary-instrumentation、emulation | non-jailbroken iOS强制code signing、禁止动态code generation,传统Valgrind/DynamoRIO式D… | iLand把ARM instruction decode成有限micro-operations,由提前签名/编译进app的atomic executi… | 软件/通用服务器 | - 标准sandbox/non-jailbroken device运行,保留dynamic UI、实时交互和video streaming。 | 未报告 |
| Incr | shell、incremental-computing、memoization | 开发修改很小,shell/polyglot pipeline仍从头执行;传统build/dataflow需开发者声明依赖,non-idempotent… | analysis phase用isolated effect tracing和probes记录read/write/environment,推断dep… | 软件/通用服务器 | - 设置:real shell/data/ML scenarios与Bash suite,对比full re-execution,… | 未报告 |
| InfiniDefrag | virtualization、memory-fragmentation、huge-pages | guest huge page需连续GPA,但传统把GPA当固定physical space,碎片后调用compaction,导致Redis thro… | Infinite Address Manager回收free fragments并扩展连续GPA region,以memory trade将离散旧GP… | 内存/CXL | - YCSB-Redis throughput相对多baseline提高21%–105%,达到ideal no-fragment附近。 | 未报告 |
| Jaber-S3Conformance | model-based-testing、cloud-storage、api | S3 20 年演化到超过 500 万亿 object、平均 2 亿 request/s、96 个 API operation,同一 API 还被 S3… | 每个 API 有 executable state machine model,只保留 functional semantics。SUT respon… | SSD/存储 | - 在 GetObject request generation 的 workload boundary 内,以 unique abstr… | 未报告 |
| JANUS | nested-virtualization、secure-container、memory-virtualization | 云上安全容器通常把每个容器放入轻量虚拟机;当用户本身租用的是云虚拟机时,这种结构形成 L0 主机、L1 云虚拟机和 L2 容器虚拟机三层。传统 KVM… | 跨世界职责分离 | 内存/CXL | - 在 8 vCPU 的多进程内存密集 benchmark 中,JANUS 吞吐量相比 PVM 提高 339.7%,相比 KVM 提高 5… | 未报告 |
| Jetpack | distributed-systems、consensus、replication | Raft/MultiPaxos client commit通常2 RTT;EPaxos等1 RTT fast path与协议深度耦合,成熟系统无法替换… | client并发发送到fast replicas与original leader path。无冲突/可交换command由supermajority在… | 软件/通用服务器 | - 评测设置:在论文给定的生产 trace 或代表性工作负载上,对比原系统/现有最佳基线,以吞吐、延迟、资源节省或覆盖率为主要指标… | - 评测设置:在论文给定的生产 trace 或代表性工作负载上,对比原系统/现有最佳基线,以吞吐、延迟、资源节省或… |
| jwmalloc | memory-allocator、mobile-system、verification | jemalloc/tcmalloc 主要面向服务器吞吐和及时释放,移动设备却只有少量 oversubscribed cores、数 GB 共享 DRA… | Uniform slabs 与 pooling | 内存/CXL | - 在 Huawei Mate 70 Pro/HarmonyOS 5.1 的真实 mobile workload 中,jwmalloc 相… | 未报告 |
| KAIROX | llm-inference、gpu-cpu、activation-sparsity | 模型大于 VRAM 时,llama.cpp 按 layer 把部分权重/计算留 CPU,CPU 可占 90%以上 latency。activation… | Live Pipeline 在 layer i attention 完成后运行 adjacent predictor 得到 i+1 active ne… | GPU、CPU | - PC-Low:RTX 3080 Ti 12 GB、12 CPU threads、PCIe 3.0×16;PC-High:RTX 409… | 未报告 |
| Kareus | distributed-training、energy-efficiency、gpu-frequency | 单独DVFS只降dynamic power却可能延长static energy时间,单独kernel overlap又忽略frequency改变com… | Kareus把全局组合问题拆成partition-local subproblems,以multi-pass multi-objective opti… | GPU | - 设置:多种LLM training workloads与GPU配置,对比energy/frequency与overlap SO… | 未报告 |
| kSTEP | linux、cpu-scheduler、kernel-testing | Linux CPU scheduler 不只要避免 crash、starvation 和 affinity 违反,还要让实现符合 fairness、l… | kSTEP 让 kernel-space driver 用 event API 描述 task create/wakeup/freeze、cgroup… | CPU | - 在 2×10-core Intel Xeon、Ubuntu 24.04、每次新启 QEMU 的环境中,7 个 sampled bug … | 未报告 |
| libDSE | durable-execution、fault-tolerance、speculation | Temporal、Azure Durable Functions 等 durable execution 系统通过记录 intent、task res… | StateObject 与 action | 软件/通用服务器 | - travel reservation service chain 相比 Temporal 与非 speculative baselin… | 未报告 |
| LifeLine | garbage-collection、android、memory-management | ART 的 Concurrent Mark-Compact collector 可让 OS 修改 PTE 来搬整页,但只有几乎全活的 page 才适合… | LifeLine 采样对象 reference updates,用 edge mutability 把 object reference graph … | 内存/CXL | - 在 Google Pixel 7 Pro(120 Hz、8-core CPU)和常见 commercial Android appli… | 未报告 |
| LiteSwitch | cxl、memory-stalls、context-switch | CXL 内存访问约为本地 DRAM 的 3 倍或更慢,典型延迟从 200 ns 延伸到 1 µs。这个区间太短,无法承担中断和内核调度;又因页面位置、… | 位置相关内存分支(Location-Dependent Memory Branching) | 内存/CXL | - 在 200 ns CXL latency、无 SMT 的多类 graph、SPEC、Memcached、FASTER KV 与 Sil… | 未报告 |
| LMetric | llm-serving、request-scheduling、kv-cache | 只负载均衡忽略prefix KV hit,只追KV locality又把请求堆在同instance;linear weighted score需按mo… | router对每instance计算uncached input tokens和batch size的乘积,选最小score;扩展规则处理SLO、au… | 内存/CXL | - 设置:16-GPU real traces与数百GPU production,对比vLLM-v1、Preble、llm-d、p… | 未报告 |
| LocalMoE-Hybrid | llm-serving、mixture-of-experts、cpu-gpu | 本地MoE通常将routed experts放CPU、attention/shared expert放GPU,但prefill因CPU expert … | Stream-Loading Prefill按layer/expert把weights流式送GPU,并与dense compute重叠,使GPU执行高… | GPU、CPU | - 单GPU SLP达1,200 prefill tok/s,32K prompt在30秒内;双RTX 5090 DSLP达1,800 t… | 未报告 |
| LogDrive | distributed-storage、shared-log、cloud-storage | 以cheap object storage做data plane的cloud service仍需小而强一致的metadata database;Dyn… | LogDrive暴露低层durable records/positions,不负责全局sequencing;可用shim包裹S3等store,再做st… | SSD/存储 | - 成本结果:代表性workload与latency SLA下,相对直接使用DynamoDB,Conflux-over-Dynam… | 未报告 |
| M3U | virtualization、live-migration、memory-management | 64+ vCPU/256GB VM的dirty rate使pre-copy不收敛;Alibaba 5万余样本成功率仅81%。post-copy保证收敛… | M3U为migration场景定制lock-protected memory operations,分离不需互斥的检查/更新并批量化;lock-red… | 内存/CXL | - 评测设置:在论文给定的生产 trace 或代表性工作负载上,对比原系统/现有最佳基线,以吞吐、延迟、资源节省或覆盖率为主要指标… | - 评测设置:在论文给定的生产 trace 或代表性工作负载上,对比原系统/现有最佳基线,以吞吐、延迟、资源节省或… |
| MAC | cxl、memory-management、near-memory-processing | CXL DRAM 以较低成本扩展容量,但访问延迟约为 DDR DRAM 的 2.4 倍。更隐蔽的问题是,物理内存越大,page descriptor … | 元数据放置与命令接口 | NIC/网络、内存/CXL | 工作负载覆盖 2.0–2.5 TiB RocksDB/YCSB、2.0 TiB PostgreSQL/pgbench、1 TiB Neo4… | 未报告 |
| MDK | memory-reclamation、datacenter、performance-modeling | 传统 page replacement 在内存已满时被动 eviction,目标是在固定 capacity 下最小化全生命周期 miss ratio。… | 内存性能曲线 | 内存/CXL | MDK 是 C++ simulator/library。Linux 5.10 kernel thread 每 30 s 扫 PTE acc… | 未报告 |
| Megalon | cxl、memory-coherence、shared-memory | CXL 3.x 允许多 host load/store 同一 memory,但 vendor/practitioner 预计 snoop filter… | Megalon index replica 位于每 host DRAM,映射 object ID→LNR/local location 与 optio… | 内存/CXL | - 因无 commercial CXL 3.0,使用 4-socket Xeon Gold 6418H NUMA emulator:nod… | or:node 0 模拟 CXL,node 1–3 为 host、各 24 cores/64 GB local DRAM |
| Merlin | caching、cache-eviction、adaptive-systems | 现代KV/CDN/page-cache workload由LFU-friendly、LRU-friendly、churn、scan等pattern混合… | Merlin为对象维护低成本fine-grained signal,将frequency、recency/reuse与cache-size-aware… | 内存/CXL | - 11个real-world datasets、5,423 traces覆盖不同cache sizes与访问混合,比较static与ad… | 未报告 |
| MIMESYS | workload-generation、resource-contention、diffusion-model | 测试 noisy neighbor 需要真实 co-located workload,但 privacy/proprietary/dependency… | 每个 1-second window 的 executable 表示为 M stressors × K threads 的 activation fr… | 软件/通用服务器 | - trace metric 为 per-core CPU、memory bandwidth、LLC traffic、disk I/O,1… | 12K training samples 收集约 8 h/8 machines,A100 pretrain 2 h、ali… |
| Mohabi | browser-security、javascript-engine、sandboxing | JavaScript engine含interpreter、多级JIT、runtime-generated code,是browser memory-… | 作者系统性disaggregate SpiderMonkey的data structures/control flow,用类型标注区分sandbox … | 软件/通用服务器 | - 完整现代Firefox运行常见web/JIT功能,JetStream overhead 24.82%、Speedometer 24.4… | 未报告 |
| MoonBright | gpu、memory-management、tlb | 现代 GPU kernel 已缩短到微秒级,但动态 allocation、page-table construction 与 TLB shootdow… | MoonBright 将 bulk page-table materialization 搬到 device side;Always-Fresh al… | GPU、内存/CXL | MoonBright 将 mapping latency 最高降低 3 个数量级,并在 LLM inference 中把 TTFT 最高改… | 未报告 |
| MPK | gpu、compiler、mega-kernel | 主流 ML system 对每个 tensor operator 启动独立 GPU kernel。kernel boundary 提供简单的全 GPU… | MPK 引入 tGraph:node 是单个 SM 上运行的 task,edge 是 producer/consumer task 的细粒度 depe… | GPU | - 五个常用 LLM、batch 1–16,覆盖 A100/H100/B200;baseline 包括 PyTorch/CUDA Grap… | 未报告 |
| Murakkab | agentic-workflow、cloud-orchestration、resource-management | Agentic workflow 往往串并联多个 LLM、多模态模型和工具,同一逻辑可使用不同 model、采样参数、agent 数、round 数、… | 开发者用 logical task、dependency、input/output 和可调 knob 描述 workflow,不固定 model 或 … | 软件/通用服务器 | - 在 Azure A100/H100 VM 上,使用 Video Q/A、multi-agent Code Generation、Mat… | 未报告 |
| MUSCHED | cpu-scheduling、mobile、production | 移动 SoC 同时面对稀缺 prime core、跨进程 IPC 依赖和严格交互 deadline。CFS 的公平性、RT 的强优先级与移动应用语义之… | MUSCHED 增加 VIP scheduling class,跟踪 IPC 交互依赖,并通过可插拔 userspace policy 决定提升与回收… | CPU | 相对 CFS 等现有调度基线,实验室应用 cold-start latency 平均降低 14.8%;系统自 2024 年部署到超过 20… | 系统自 2024 年部署到超过 2000 万台设备,生产启动异常降低 30.7%(§7,图 14) |
| MuShell | fpga、microkernel、accelerator | 现有 vFPGA shell 以一个 vFPGA 对应一个 monolithic accelerator 来简化隔离。但论文对多领域应用及 Vitis… | μShell hardware 在每个 vFPGA 前放置 Capability Enforcement Unit(CEU)。CEU 的 endpoi… | FPGA/SmartNIC | - U280、五个由 FFT/RLE/AES/SHA/RSA 等组成的 pipeline、8KiB/256KiB/1MiB 输入、10 次… | 未报告 |
| mwait-sched | virtualization、cpu-scheduling、cloud | 超售云中,guest 通过 mwait 进入低功耗等待时,passthrough 会让 hypervisor 看不见 vCPU 已经空闲;该 vCPU… | mwait-sched 将 mwait 重新设计为 virtualization-aware 调度原语:识别等待状态、按等待类型分类,并用可扩展的 m… | CPU | 在超售 VM 与共置服务负载上,原始 passthrough 可将共置尾延迟放大至 3×;mwait-sched 相对该方案把尾延迟降低 … | 未报告 |
| NEMO | memory-management、cxl、hardware-telemetry | CXL与multi-tier memory要求OS持续判断hot pages、huge-page内部稀疏访问和tenant bandwidth。PTE… | NEMO rule声明过滤哪些read/write/tenant/address access,如何将其映射到有限counter region,以及对… | 内存/CXL | - HeMem对hot-set change反应快5×,减少错误tier placement并使KV/database throughpu… | 未报告 |
| Nested-SEV | confidential-computing、nested-virtualization、security | 现有 AMD SEV nested virtualization 要么无法同时保护 L1 VM,要么只支持单个 L2 VM;virtual cloud… | Nested-SEV 提供两种模式:SEV virtualization 以独立 context 隔离 L2,SEV passthrough 通过 c… | 软件/通用服务器 | 原型覆盖 KVM、BitVisor、Xen 三类 L1 hypervisor 和 SEV0、SEV-ES、SEV-SNP;相对 singl… | 未报告 |
| NeuroSymbolicProof | formal-verification、theorem-proving、llm | seL4 约 10K 行 C,却需要超过 100K 行 Isabelle proof、约 20 person-years。现成 LLM 即使认识 th… | 作者实现 Isabelle REPL,暴露当前 goal/hypothesis、执行 tactic、counterexample tool 和 loc… | 软件/通用服务器 | - FVEL still-valid validation/test/test-hard 上,Mistral-7B 完成 2,167 th… | 未报告 |
| Nixie | gpu、memory-management、multiplexing | 消费级设备同时运行多个几乎占满显存的 ML 应用时,UVM 会抖动,完全 pin 到 CPU memory 又缺乏隔离和优先级。用户需要前台交互应用抢… | Nixie 作为系统服务统一协调显存分配、迁移与 kernel launch;采用双向交换和受控 pinned memory 降低切换代价,并以 ML… | GPU、内存/CXL | 代码补全与长运行 LLM 共置时,交互延迟最高改善 3.8×;相同延迟下 CPU pinned memory 最高减少 66.8%,多应用… | 未报告 |
| OBASE | memory-tiering、address-space、object-migration | 内存分层(memory tiering)以 page 为迁移单位,而应用以大小不一的 object 为访问单位。allocator 不按未来热度布局对… | OBASE 将逻辑 object identity 与地址分离。开发者标注可迁移 pointer field,Clang/LLVM pass 把它们改… | 内存/CXL | - Google 六 workload trace 显示 active pages 中 70%–90% bytes 未访问;Tahoe/Y… | 未报告 |
| OpenTela | llm-serving、hpc、orchestration | sovereign AI资源多是batch-oriented HPC:allocation短暂、compute node不对外、无Kubernetes… | 各allocation内agent通过CRDT-based gossip维护service/node状态,即使部分cluster不可达也能最终收敛;g… | 软件/通用服务器 | - Trace结果:production model的prefix reuse ratio最高超过90%,reasoning re… | 未报告 |
| OpGuard | distributed-training、debugging、determinism | 训练bug/SDC常只扰动少数tensor elements,数千steps后loss/gradient norm才变化;aggregate sign… | OpGuard发现跨training stacks仍稳定的semantic operator boundaries,GPU侧生成lightweight… | 软件/通用服务器 | - ByteDance production由15+ engineers使用,诊断20+ kernel race/SDC/software… | 未报告 |
| Osprey | secure-computation、virtual-memory、speculative-execution | 安全计算(Secure Computation, SC)让系统直接处理加密数据,但 ciphertext expansion 会急剧扩大内存:garb… | 双 pass 执行 | 内存/CXL | 证据定位:§9.4–§9.8、图 6–9;覆盖 8 个 workload、end-to-end application、多线程与 … | 未报告 |
| Ote | access-control、web-application、database | legacy web app把access control散落在checks、ORM scopes与SQL filters,既难审计也无法交给外部DB… | Ote只symbolically track影响query/condition的小类operations,执行路径产生带path predicate的… | 软件/通用服务器 | - 评测设置:在论文给定的生产 trace 或代表性工作负载上,对比原系统/现有最佳基线,以吞吐、延迟、资源节省或覆盖率为主要指标… | - 评测设置:在论文给定的生产 trace 或代表性工作负载上,对比原系统/现有最佳基线,以吞吐、延迟、资源节省或… |
| Oxbow | file-system、computational-storage、kernel-bypass | 高速SSD让kernel I/O path变成CPU瓶颈;user-level FS绕过kernel得到低latency,却失去VFS/page ca… | Oxbow含四组件:application-linked oxLib暴露fast/application-aware API;trusted H-Se… | SSD/存储 | - 对比Ext4、µFS与OmniCache,CSD由BlueField-2(8×2.0 GHz ARMv8 A72)与SR-IOV SS… | 未报告 |
| PeeR | ebpf、scheduling、preemption | 延迟关键 eBPF 通常从 XDP 等 I/O hook 在不可抢占 softirq 中 run-to-completion。这样免去 context… | PeeR 修改 eBPF JIT,在 verifier 判定安全的 helper site 前插入 per-CPU budget flag check… | 软件/通用服务器 | - 两台 28-core Xeon Gold 5420+、256 GB、ConnectX-7 400 Gbps,Ubuntu 24.04/… | Xeon Gold 5420+、256 GB、ConnectX-7 400 Gbps,Ubuntu 24.04/Linux… |
| PIMS | datacenter、maintenance、capacity-management | 维护会暂时移除服务器或整个故障域,服务必须迁入预留 capacity buffer。缓冲越大,并行维护越快,但对数百万服务器 fleet 而言几个百分… | 缓冲复用与故障域对齐 | 软件/通用服务器 | - 2025 Q2 按 placement 建议移动 15,716 个 racks 后,PIMS buffer 从约 fleet 的 4.… | 未报告 |
| Pluto | graph-processing、distributed-systems、mirroring | distributed graph BSP用mirrors减少remote update与同步,却按潜在需要复制所有remote data,memor… | Static partial mirroring依据partition/algorithm访问关系预选productive remote data。M… | NIC/网络、内存/CXL | - full mirroring memory overhead最高4×;Pluto显著降低footprint并允许更多paralleli… | 未报告 |
| POEGA | gpu、graph-processing、out-of-core | 演化图分析需要连续处理多个相似度常超过 99% 的 snapshot,但大图超出 GPU memory;直接 out-of-core incremen… | POEGA 先在 resident proxy graph 上产生近似结果并指导 out-of-memory refinement;fused ker… | GPU、NIC/网络 | 在多种真实 graph dataset 与 EGA query 上,POEGA 相对 state-of-the-art solution … | 未报告 |
| Pompe-SRO | consensus、blockchain、fairness | SMR只要求全序,ordered consensus限制Byzantine influence,却不约束timestamp重叠请求;网络更快的adve… | equal-opportunity condition形式化候选slot selection probability;SRO提供secret-then… | 软件/通用服务器 | - 设置:12 CloudLab geo nodes/80-node simulation、front-running/sandw… | 未报告 |
| PowerSight | datacenter、power-management、capacity-planning | 商业数据中心长期混用多代 compute、storage 与 AI server。功率规划既不能把每台机器的 design peak 简单相加——所有… | 每个 rack 有 design power D,但上游 panel、switchboard 与 main switch 才是集中管理点。foreca… | 软件/通用服务器 | 生产数据覆盖数百万机器、数千服务和多代 compute、storage、AI server;主要结果包括约 20% fleet overs… | 生产数据覆盖数百万机器、数千服务和多代 compute、storage、AI server |
| Prism | llm-serving、gpu-memory、multi-model | providers必须常驻大量低流量模型;production traces表现为不断变化的bursty active groups,固定coloca… | kvcached balloon driver在GPU内提供可动态expand/shrink的model/KV pool;global schedul… | GPU、内存/CXL | - 设置:Hyperbolic/Arena与company traces、58 models,对比MuxServe++、QLM/s… | 未报告 |
| qTPU | quantum-computing、compiler、heterogeneous-computing | QPU 能表示经典内存指数爆炸的 quantum state,却噪声高、资源少、吞吐低;现有 host–quantum-kernel 模型要求人工切分… | qTPU 提出 hybrid Tensor Network(hTN)抽象:programming model 声明统一图,compiler 做跨边界 … | QPU | 在 hybrid ML、circuit knitting、quantum error mitigation workload 上,qTPU… | 未报告 |
| Quark | serverless、batch-processing、spark | 云厂商常把低优先级 Spark batch job 与高优先级在线服务共置,通过 overcommit 收割空闲资源。Ant Group 的在线服务实… | Quark 把 executor 占有模式改为每个 task 按需创建独立 secure-container instance。Slots Ring … | NIC/网络 | - TPC-H SF=1000、22 queries、20 次均值下,Quark 相对 Spark 的 CU 降低 26.70%–87.8… | 未报告 |
| Quota-Marketplace | ml-cluster、resource-allocation、market-mechanism | 静态 pool 依赖季度/半年人工预测,却面对分钟级 supply clawback、新容量上线和训练 burst,造成一边排队、一边 silo ca… | 周期性市场清算 | 软件/通用服务器 | - QM 已分配数十万 ML accelerators,覆盖 Google 整体 ML fleet 的两位数百分比;market 大约每分… | 未报告 |
| Rakaia | rpc、tcp、kernel | POSIX TCP只暴露bytes,RPC framework须I/O thread重组message再交worker,既有单connection内H… | Linux module在receive path增量parse configured RPC framing,形成message descripto… | 软件/通用服务器 | - 设置:多connection microbenchmarks、gRPC-Go/C++、Silo TPC-C/OpenTelem… | 未报告 |
| RamRyder | memory、virtualization、cxl | cloud memory按vCPU固定容量且不出售bandwidth;tenant为峰值带宽订半socket导致capacity/bandwidth分… | hypervisor/guest协同维护page→channel mapping,按VM bandwidth/capacity allocation做… | 内存/CXL | - 设置:STREAM、Redis YCSB、GAP graphs与cluster traces,对比Shared/Ideal/c… | 未报告 |
| RLinf | reinforcement-learning、distributed-training、scheduling | RL包含generation、reward/critic、training、tools与simulator,memory、parallelism和动态… | M2Flow从macro DAG生成temporal/spatial decomposition,估算critical stage与pipeline … | 软件/通用服务器 | - GRPO/Qwen reasoning相对veRL/Slime提高1.07×–1.70%。 | 未报告 |
| RobustRL | rl-post-training、fault-tolerance、distributed-training | LLM RL post-training 不是纯 training:rollout generation、tool call、trainer upda… | control plane 的 phase-aware analyzer 为 trainer 与 rollout 分配不同 detector。trai… | 软件/通用服务器 | - testbed 为 32 machines/256 H20 96 GB GPUs、每机 8 GPU、900 GB/s NVLink、4… | - testbed 为 32 machines/256 H20 96 GB GPUs、每机 8 GPU、 |
| RollArt | agentic-rl、disaggregation、heterogeneous-computing | 多任务 agentic RL 的一次 trajectory 会在 LLM generation 与外部 environment 间往返数十轮,再做 r… | RollArt 分 resource/data/control 三 plane。用户用 hw_mapping decorator 将 training… | 软件/通用服务器 | - 96×H800 与 32×H20,集群内 400Gb IB、跨集群 200Gb Ethernet,外加两套 CPU environme… | 默认 128 GPUs,Qwen3 8B/14B/32B、32k context |
| RT | shell、type-systems、static-analysis | Unix shell 把不同语言实现的 command 通过无类型 byte stream 拼接,路径空格、field format、numeric … | regular stream type 是每一行所有可能字符串的 language;regular command type 是输入、输出 type … | 软件/通用服务器 | 证据定位:§6.1–§6.3、图 8;954 个程序与 ShellCheck、LADDERTYPES 进行 effectivene… | 未报告 |
| S4-FIFO | caching、cache-eviction、learning-augmented-systems | per-object learned cache频繁预测、critical-path metadata重,且objective mismatch会在未… | LAH分离control/data plane:异步model读取aggregate cache features,周期性输出S3-FIFO para… | 内存/CXL | - 设置:1,035 production traces,对比FIFO、2Q、ARC、LRB、LHD、3L-Cache,以miss… | 未报告 |
| SANI | mobile-inference、asymmetric-multiprocessing、scheduling | 移动 SoC 的 LITTLE cores 更节能,但把 operator 输出均匀切给所有核会使 big cores 等待慢核,加入 LITTLE … | 亲和性感知的 kernel 分发器 | NIC/网络 | - 在 Pixel 9、Find X3 Pro、Redmi K60、OnePlus Ace 和 Odroid XU4 五款 SoC、六个模… | 未报告 |
| SBB | networking、userspace-networking、scheduling | 微秒级 RPC runtime 不只要绕过 kernel,还要同时完成三种 scheduling:preempt long request 防 hea… | 每个 worker 独占 CPU、local run queue、timer 与 NIC Rx/Tx queue。Linux patch 将 LAPI… | NIC/网络 | - 16 workers、Fixed(1)、p99.9 slowdown SLO 50倍下 SBB 达 9.7 MRPS,较 TQ/Con… | 未报告 |
| SDCHunter | gpu、reliability、llm-training | GPU silent data corruption(SDC)与软件 bug、数值不稳定表现相似;通用 GEMM stress test 会漏掉超过 … | SDCHunter 在集群中逐步隔离小型可疑 GPU group,再用触发故障的精确 training workload 和 input 做 exec… | GPU | ByteDance 生产部署中,SDCHunter 成功缓解 40 起 SDC incident;characterization 覆盖 … | ByteDance 生产部署中,SDCHunter 成功缓解 40 起 SDC incident |
| Seer | llm-training、reinforcement-learning、rollout | rollout 占现代 LLM RL iteration 的 63%–87%。长 CoT output 同时产生 heavy-tailed execu… | 拆分式 Rollout(Divided Rollout) | 软件/通用服务器 | - 在 Moonlight、Qwen2-VL-72B 和 Kimi-K2 三个 production-grade RL workload、… | roduction-grade RL workload、32/128/256 GPUs 上,Seer 相比 veRL ro… |
| Sepia | networking、ddio、page-coloring | Intel DDIO让NIC DMA先落LLC,但高并发TCP下packet data在CPU处理前被evict。传统解释只看DDIO保留2 ways… | Sepia推导DDIO write与CPU read在reserved/all ways中的placement行为,用page color控制DMA … | NIC/网络、内存/CXL | - page coloring相对Linux有效LLC capacity提高77.8%–94.4%。 | 未报告 |
| Sereno | mobile-systems、llm-inference、memory-bandwidth | on-device LLM常以notification/agent burst在后台运行,与UI CPU/GPU共享UMA DRAM。25 apps实… | Sereno借speculative decoding把一次长NPU inference拆成draft/verify边界,可在不丢progress处y… | 内存/CXL | - commercial smartphones、25 popular apps:foreground jank最高降92.6%、平均58… | 未报告 |
| SMARTTalk | ssd、failure-prediction、llm | SSD fleet 依赖 SMART 遥测来预测故障,但传统方案要么依赖手工统计特征和大量罕见故障标签,要么把复杂时间行为压成不可解释的分数。硬件型号… | 离线阶段先把每个 A × n SMART 窗口按属性切成一维 temporal patch,同时构造捕获属性间共变的二维 patch。轻量 CNN 以… | SSD/存储 | - Alibaba 2018–2019 SMART trace 的 MB1/MB2 型号、19 个属性、30 天窗口和按月 tempora… | 未报告 |
| Soul | cache-coherence、synchronization、disaggregated-memory | 在 cache-coherent disaggregated memory 上叠加传统 lock,会重复触发 cache 间通信;5–10 µs 的远… | 论文提出 Generalized cache-Coherence Protocol(GCP):以 wait queue 做时间推广,以可变大小 cac… | 内存/CXL | 在 key-value store、database 等未修改真实应用上,Soul 相对 state-of-the-art lock 在规… | 未报告 |
| SPADE | cluster-scheduling、dag、resource-provisioning | 传统 Spark 等数据处理调度器假定资源供给稳定,主要优化 makespan;既有 signal-aware 系统则常把作业当黑盒,按外部信号整体伸… | 相对重要性 | 软件/通用服务器 | - 在 100 节点 Spark-on-Kubernetes 集群、Alibaba 与 TPC-H DAG workload 上,SPAD… | 在 100 节点 Spark-on-Kubernetes 集群、Alibaba 与 TPC-H DAG workload … |
| Spain | succinct-proofs、numerical-computing、cryptography | succinct proof 可让 verifier 确认不可信 prover 执行了约定程序而不重算,但程序必须先变成有限域上的 R1CS。fini… | front-end 在有理数域上生成 approximate R1CS,使每条 constraint 允许 bounded residual。Spai… | 软件/通用服务器 | - linear programming、Softmax/LayerNorm/GELU/GPT-2、8×8/16×16 10-step f… | 未报告 |
| SPEX | llm-inference、tree-of-thought、speculative-execution | ToT每扩展node后等待reward决定下一branch,DFS形成sequential barrier,BFS又受深branch straggle… | intra-query speculation在模拟reward/selection下提前生成候选branch,以predicted utility、… | 软件/通用服务器 | - 多数学/编程ToT task相对prior-art加速1.2×–3×。 | 未报告 |
| Spice | serverless、snapshot、cold-start | serverless 的长尾函数无法常驻:Microsoft trace 中 81% application 每分钟最多调用一次。capture 完成… | Snapshot Hybrid ELF(SHELF)保留 ELF 风格 program header,但每个 segment 带 page-granu… | 内存/CXL | - Xeon Gold 5420+、128GB、PCIe 5.0 Crucial T705 NVMe、Java/Python/Node.j… | 未报告 |
| Strata | llm-serving、kv-cache、storage-hierarchy | 长上下文复用要求把 KV-Cache 扩展到 GPU、CPU、SSD,但各层碎片化布局会把命中转成大量小传输;若调度器只看是否命中,不看加载完成时间,… | Strata 用 GPU-assisted I/O 解耦 host 与 GPU 布局,将碎片重排放到设备侧并形成大传输;cache-aware sch… | SSD/存储、内存/CXL | 在长上下文 serving workload 上,Strata 相对 vLLM-LMCache 吞吐最高提升 5×,相对 NVIDIA T… | 未报告 |
| StriaTrace | llm-serving、observability、tracing | LLM inference同时受TTFT/TPOT细粒度SLO约束;2K-instance现场平均正常但P99频繁越过10s/100ms。Nsight… | StriaTrace用三原则限制常态成本:只trace key synchronization points、沿end-to-end critical… | 软件/通用服务器 | - tracing overhead相对full profiler/alternative降低97.8%,适合continuous dep… | 未报告 |
| Svalinn | overload-control、admission-control、tail-latency | 同一服务的请求可能因数据大小和路径不同而分别受 CPU、内存带宽或锁限制。只看端到端 latency 或总 in-flight requests 的 … | 基于 credit 的准入控制 | 内存/CXL | - 在 Memcached、RocksDB、DataFrame 和 synthetic workload、Shenango/Go runt… | 未报告 |
| Syncopate | compiler、multi-gpu、triton | distributed compiler通常把compute/communication各切成多个kernels后在CUDA streams重叠。每个… | communication chunk abstraction描述data region、availability/dependency和backen… | GPU | - common multi-GPU operators/end-to-end workload平均1.3×,最高4.7×。 | 未报告 |
| Tessera | distributed-training、mixture-of-experts、pipeline-parallelism | 新一代 MoE 不再重复同一种 Transformer block:Qwen3-Next 混合 Gated DeltaNet、full attenti… | Tessera 的 static planner 先从固定 pipeline schedule template 构建 overlap graph:n… | 软件/通用服务器 | - 生产集群为 NVIDIA Hopper、8-GPU servers 与 RoCE;主评测覆盖 Qwen3/Qwen3-Next、4,0… | 主评测覆盖 Qwen3/Qwen3-Next、4,096–12,288 GPUs,并与已含 interleaved 1F1… |
| TileLoom | compiler、spatial-dataflow、accelerator | spatial dataflow accelerator用分布式scratchpad与NoC转发数据,聚合片上bandwidth很高,但性能高度依赖t… | TileLoom在MLIR接收tile loops,生成spatial mapping(哪些tile instances分布到2D cores)和te… | 软件/通用服务器 | - 在两代Tenstorrent spatial accelerators上评估GEMM、attention及多个tile kernels… | 未报告 |
| Timelock Drive | storage-security、ransomware、trusted-computing-base | ransomware常先取得管理员权限并删除backup;把retention policy放在同一backup/versioning softwar… | drive controller内小型TD checker提供read/write/timelock interface;block写入后在durat… | SSD/存储 | - trace/filebench相对conventional versioning,SSD throughput overhead约0.… | 未报告 |
| TrainMover | distributed-training、fault-tolerance、live-migration | 大型LLM训练持续数周,硬件故障、维护与抢占频繁发生。checkpoint-restart需重建framework、加载state和CCL group… | TrainMover controller先在joiner上communication-free sandboxed warmup:拦截collect… | 软件/通用服务器 | - 在GPT类模型、不同TP/PP/DP profile与最高1,024 GPUs上,expected/unexpected interr… | - 在GPT类模型、不同TP/PP/DP profile与最高1,024 GPUs上,expected/unexpecte… |
| Try | sandboxing、filesystem、effect-control | 现代 script、package hook、shell pipeline 和 coding agent 会调用 opaque/polyglot co… | try | 软件/通用服务器 | - 五类case:LLM risky script、dependency tracking、third-party hook、dry-ru… | 未报告 |
| Twill | compiler、gpu、software-pipelining | Tensor Core GPU 的计算、搬运和异步接口跨代变化,software pipelining(SWP)与 warp specializati… | Twill 把 modulo scheduling、跨 warp communication、同步和资源容量统一成 constraint optimi… | GPU | 在 NVIDIA Hopper H100 与 Blackwell B100 的 FlashAttention forward/backwa… | 未报告 |
| TypeCraft | profiling、data-locality、linux-perf | perf、VTune 等工具把 cache/TLB miss 归因到指令、函数或 allocation site,开发者仍需人工推断究竟哪个结构体字段… | DWARF 类型解析 | 软件/通用服务器 | - 对 Ubuntu Linux 6.17,TypeCraft 将内存指令类型覆盖从直接 DWARF 的 75.2% 提升到 92.7%,… | 未报告 |
| UCCL-Tran | gpu-networking、rdma、transport | RDMA NIC 把 transport control 固化在硬件中,迭代慢于 ML workload;single-path collision、… | UCCL-Tran(uTran)解耦 RDMA data/control path:NIC 保留高速数据搬运,host software 执行 tra… | GPU、NIC/网络 | ML collective 在 NVIDIA ConnectX-7 上吞吐最高提高 4.5×,在 Broadcom Thor-2 rail… | 未报告 |
| UCSan | program-analysis、symbolic-execution、compiler | 分析大型 C/C++ 系统中的单个函数时,完整构建环境成本高,传统欠约束 symbolic execution 又常依赖专用解释器、兼容性有限。目标是… | UCSan 通过编译插桩把选定函数及依赖变成 self-contained executable;运行时惰性初始化未知内存、解析外部调用,并结合 sy… | 软件/通用服务器 | 在 Linux kernel 分析任务上,UCSan 相对 KLEE-based engine 最高快 15.06×;可成功编译超过 80… | 未报告 |
| UEP | mixture-of-experts、expert-parallelism、rdma | DeepEP式GPU-initiated RDMA适合细粒度MoE token dispatch,但要求GPU kernel理解NIC driver/… | UEP保留GPU产生token-level routing command,却只把紧凑descriptor推给CPU shared queue;pin… | NIC/网络 | - 实现在NVIDIA/AMD GPU与AWS EFA/Broadcom NIC组合,证明不依赖单一vendor stack。 | 未报告 |
| Umap | distributed-storage、mmap、virtual-memory | file-backed matrix 让 NumPy/PyTorch/LLM loader 以 pointer 访问超内存数据,kernel 自动 p… | Communication Manager(CoM)把 page-level request 放入 priority/indexed aggregat… | SSD/存储、内存/CXL | - testbed 每 node 配两张 200 Gbps ConnectX-6 NIC,比较 mmap+local SSD、mmap+G… | - testbed 每 node 配两张 200 Gbps ConnectX-6 NIC,比较 mmap+local |
| USEC | operating-system-security、mandatory-access-control、linux | Mandatory Access Control(MAC)可在application被攻陷后限制kernel resources访问,但SELinux… | Resource-centric policy template直接锚定file、process、IPC、socket等semantic resour… | 软件/通用服务器 | - 等价security requirements下,USEC policy source最多比SELinux少10×;UOS produ… | 未报告 |
| µUSB | trustzone、usb、driver-specialization | TrustZone secure I/O缺USB;将Linux USB stack塞进TEE扩大TCB,复杂protocol/DMA/vendor v… | record阶段在VM/real driver上变异input并抓取MMIO/DMA/control flow;program analysis用tr… | 软件/通用服务器 | - 设置:storage/video/audio/HID六设备,对比native和Circle driver,以throughpu… | 未报告 |
| ValScope | dbms、testing、metamorphic-testing | DBMS logical bug 静默返回错误结果,难点是复杂 query 没有 ground truth。NOREC/TLP 用等价变换,但原、变形… | 统一近似模型 | 软件/通用服务器 | 证据定位:§6.2–§6.3、表 3–5;在 6 个 DBMS benchmark 上,相比 PINOLO 等 baseline,… | 未报告 |
| vBOIDs | containers、cpu-scheduling、microservices | 高密度容器把内部每个线程直接暴露给 Linux CFS;同一 Hotel Reservation deployment 有超过 500 个 host-… | BOID 抽象 | CPU | 证据定位:§6.1–§6.4、图 1–15、表 1–3;覆盖 DeathStarBench、noise-container sca… | 未报告 |
| vBPF | ebpf、virtualization、multi-tenancy | eBPF 的 static binding 把逻辑程序固定到物理 kernel hook,默认单一信任域。多个租户附着同一 hook 时既会线性遍历,… | vBPF 用 late binding 解耦 tenant program 与 physical hook:Sniffer 做事件归属,Dispatc… | 软件/通用服务器 | 多租户 contention 下,vBPF 相对 native eBPF 将 lmbench latency 最高降低 3.9×,Post… | 未报告 |
| VTC | tensor-compiler、gpu、data-movement | GPU compute 增长快于 memory bandwidth,DNN 中 Transpose、Split、ScatterND、Slice、Exp… | virtual tensor 是 (mapping F, physical pointers P),访问 V[x] 时由 F(x) 找到某个 Pj[y… | GPU | - A100 80 GB PCIe 与 H100 NVL,Llama-3、Gemma-2、EfficientViT、YOLOv11、Shu… | 未报告 |
| Weave | reinforcement-learning、gpu-scheduling、disaggregation | on-policy RL 后训练把 rollout 与训练放到异构 GPU 池后,一个作业的阶段依赖会令两侧交替空闲。单作业优化不能消除跨作业的互补气… | Weave 构造 co-execution group;组间用随机规划选择互补作业,组内用最优 round-robin 排序,并以 host-memo… | GPU | 在 328 张 H20 rollout GPU 与 328 张 H800 training GPU 的测试床上,Weave 相对标准解耦方… | PU 与 328 张 H800 training GPU 的测试床上,Weave 相对标准解耦方案成本效率提高 1.84×… |
| WiseCode | erasure-coding、storage、repair | 宽条带纠删码(wide-stripe erasure code)通过保持 parity 数量较小、扩大 data chunk 数量,把存储开销压到 1… | 模板展开(template-unfold)先在设备允许的 α 上限内选择最宽 (n_msr,k_msr) MSR 模板,再重复实例化并合并相同 sub… | SSD/存储 | - Ceph、k=100、512 PG、1.46 TB YCSB 数据、10/40 clients 下,1.06 开销的 WC6,3 离线… | - Ceph、k=100、512 PG、1.46 TB YCSB 数据、10/40 clients 下,1.06 |
| WriteGuards | distributed-cache、linearizability、distributed-storage | lookaside cache 快但通常只有 eventual consistency;write-through cache 若在 ownershi… | WriteGuard 原语 | SSD/存储、内存/CXL | - 基于 TiDB、Meta/Twitter trace 与 Databricks Unity Catalog workload,CLin… | 未报告 |
| Xkernel | linux、kernel、ebpf | Linux 的 threshold、batch size、timeout 和 scaling factor 常以 macro、literal 或 st… | 离线分析从 DWARF/source-to-binary mapping 和 symbolic execution 找到常量首次进入 register… | 软件/通用服务器 | - CPU scheduling、memory、storage、network 的 140 个 perf-const 中支持 139 个(… | 未报告 |
| ZENO | confidential-computing、databases、tee | 现代 confidential database 为保留 DBA 的 plan inspection/debug 能力,不把整个 DBMS 放入 TE… | integrity zone 运行 commodity PostgreSQL,表中 sensitive field 替换为 FID;privacy z… | 软件/通用服务器 | - PostgreSQL 15.5、ARM Secure EL2 与 Intel TDX 上,TPC-C 100 warehouses、3… | 未报告 |
共同观察
-
平均利用率掩盖瞬时与形状失配。 Alibaba-ASI-OSDI26 的饱和 GPU fleet 仍因 resource shape/保留策略留下空闲;mwait-sched-OSDI26 中约 1% oversubscription 也会放大尾延迟;DINGO-OSDI26 则显示维护 I/O 占 after-cache HDD I/O 的 45%–70%。该观察适用于具有 burst、barrier 或严格 tail SLO 的系统,不能由日均 utilization 否定。
-
“命中/缓存/本地”只是必要条件,及时可用才决定 SLO。 Strata-OSDI26 的 KV cache hit 可因 transfer 阻塞 74% prefill 时间,FARLock-OSDI26 的 local request 若走 RNIC loopback 仍有极差 tail,OBASE-OSDI26 的 active page 内仍有大量 cold bytes。需要同时报告 ready time、布局与关键路径,而非只报 hit rate。
-
控制粒度必须贴合真正变化的对象。 BatchGen-OSDI26 在 module boundary 暂停 sequence coroutine,FORGE-OSDI26 用 object group 摊销远端同步,MPK-OSDI26 下沉到 SM-level task,vBPF-OSDI26 延迟到事件归属确定后绑定程序。细粒度收益的边界是 metadata、dispatch 与 verification 开销不能反客为主。
-
生产故障通常依赖 workload 语义。 SDCHunter-OSDI26 的缺陷 GPU 对 input/unit 高度敏感,kSTEP-OSDI26 的 90% scheduler bug 依赖特定 workload 行为,CoreSec-OSDI26 必须允许 telemetry 不充分时 abstain。通用 synthetic test 适合筛查,但不足以完成 root-cause diagnosis。
-
跨层机制常以保守 fallback 换取可部署性。 S4-FIFO-OSDI26 保留 FIFO data plane、只学习 cache-level 参数,GraCE-OSDI26 profile 后选择性启用 CUDA Graph,Twill-OSDI26 在 machine model 下给最优 schedule、实际 spilling 时仍需回调约束。收益主要在常见路径,正确性由退路托底。
互相冲突的假设
-
KV 应先搬入 GPU,还是让 kernel 远端读取? Strata-OSDI26 假设合并大传输并重排到 GPU layout 能隐藏加载;DirectKV-OSDI26 则在 NVLink-C2C superchip 上直接读取 CPU-resident KV,避免 staging。应按 interconnect latency/bandwidth、reuse distance、attention sparsity 与 batch size 测量 break-even。
-
硬件 transport 应保持固定,还是把控制移到软件? BALBOA-OSDI26 证明可编程 FPGA RoCE stack 也能跑满 100 Gb/s;UCCL-Tran-OSDI26 认为 commodity RNIC data path 可保留、control path 应由 host 演化。仲裁需要比较 CPU budget、vendor portability、failure recovery 与 line-rate feature complexity。
-
透明共享还是显式所有权? Soul-OSDI26 通过 generalized coherence 在协议层透明支持 lock;Duhu-OSDI26 把 mutable metadata 设为单 owner、用 message passing 避免 coherent locking;Megalon-OSDI26 只给小 coherence record 使用硬件一致区。应测 read/write sharing ratio、coherent-region capacity 与远端 RTT。
-
共置还是 phase disaggregation? EcoServe-OSDI26 认为普通 Ethernet 上完全 P/D 解聚受 KV transfer 限制,因此采用时间维度 PaDG;Weave-OSDI26 在异构 rollout/training GPU 池上通过跨作业 co-scheduling 兑现解聚收益。决定因素是 state-transfer cost、phase duration variance、hardware heterogeneity 与 SLO slack。
-
静态形式最优是否等于真实硬件最快? Twill-OSDI26 在 machine model 内保证 SWP/WS 最优,却观察到 ptxas register spilling;Kareus-OSDI26 表明 launch timing、SM allocation 与 frequency 会共同改变实际 energy/runtime。需要 compiler backend、DVFS 和 contention-aware validation 才能确认端到端最优。
值得关注的方向
-
可复现的层级 KV break-even benchmark:小团队可用 1–2 台 GH200/普通 PCIe GPU 加 CPU/SSD 重放公开 trace,统一比较 direct access、staging、prefetch 和 paged layout。DirectKV-OSDI26、Strata-OSDI26、ECHO-OSDI26 指向的空白是:何种 reuse/sparsity/interconnect 条件下应切换路径,以及切换是否能在 TTFT/TPOT SLO 内完成。
-
语义感知故障 replay 工具箱:不需要大集群,可在少量 GPU/VM 上注入 fault,研究如何自动捕获最小 triggering input、role state 与 execution slice。SDCHunter-OSDI26、kSTEP-OSDI26、RobustRL-OSDI26 共同留下 minimization、non-determinism control 和跨设备 fault signature 的 open problem。
-
软件 control path 的统一成本模型:在 commodity NIC/GPU 上实现可插拔 proxy,系统测量 CPU cycles、queue delay、tail latency 与 vendor portability。UCCL-Tran-OSDI26、UEP-OSDI26、CoPilotIO-OSDI26 指向的问题是:何时额外 hop 比硬件 fast path 的僵化更便宜。
-
细粒度资源控制的 metadata tax:用模拟器或单机原型统一测 object/page/record/task 粒度变化时的 metadata、contention 与 recovery cost。OBASE-OSDI26、FORGE-OSDI26、MPK-OSDI26、Megalon-OSDI26 提供四种不同对象,适合构造跨领域比较。
-
LLM+deterministic verifier 的系统接口:小团队可围绕开源 codebase、database schema 或 theorem prover 做 candidate generation、state abstraction 与 rejection cache。NeuroSymbolicProof-OSDI26、Aletheia-OSDI26、gigiprofiler-OSDI26 的共同空白是如何量化 semantic recall、verification cost 与 false-negative risk,而不只报告最终成功率。