CAKE：面向前沿 Kernel 演化的 Compiler–Agent 协同设计（arXiv 2026）
原题：CAKE: Compiler–Agent Co-Design for Frontier Kernel Evolution
一句话总结：CAKE 让 agent 编写显式 warp/memory/pipeline schedule 的 typed IR，并把重复失败沉淀为 verifier、IR primitive、cost model 和 tactic；B200 Flash-KMeans 三次 clean start 在 80M-token 预算下 median 达 FlashML 1.144×，而直接 CUDA/PTX 仅 0.928×，同时产出 KDA、TinyGEMM 与 Alpha-MoE 的可上游 kernel。
问题与动机
kernel agent 若把 compiler 当黑盒，只收到 compile/correctness/time，难以定位 schedule failure；直接 CUDA/PTX 又暴露过多低层细节。CAKE 的问题是：能否共同演化一个既表达硬件决策、又为 agent 提供局部诊断和可验证约束的 IR（§1–3）。
关键观察 / 隐含假设
- 观察 1：合适 IR 比直接低层代码更能利用相同 token budget。 Flash-KMeans matched runs 中 CAKE 3/3 越过 baseline，CUDA/PTX 0/3（表 2、图 5）。
- 依赖假设：CAKE IR 的能力覆盖目标 schedule，compiler lowering 不吞掉优化意图。
- 观察 2：agent failure 可反向改进 compiler harness。 recurring error 被提升成 verifier rule、resource model、diagnostic 或 reusable tactic（§3.2）。
- 可能失效场景：task-specific primitive 不断累积会把 IR 变成 benchmark overfit 的隐式专家库。
- 假设 1：upstream PR 与 end-to-end validation 比 isolated speedup 更能证明生产价值。
- 证据强度：中到强；有多个 PR/case，但仍由同一团队生态验证。
核心方法
CAKE IR 显式描述 warp roles、memory movement、synchronization、pipeline、layout 和 resource constraint；compiler 做 typed validation、layout verification、cost modeling 与 localized diagnostics，再 lowering 到 CUDA（§2–3）。
agent workflow 在 clean-start、reference-guided 与 portfolio 构建间复用 harness。compiler 本身也随轨迹扩展能力，形成 agent 与 IR 的双向进化（§4、Appendix A–C）。
设计取舍
- 硬件显式 IR 换 portability：比 CUDA 易验证，比高层 DSL 可控；仍绑定 GPU schedule knowledge。
- compiler evolution 换公平性：能力可积累，但后续 task 获得前序人工/agent 共同沉淀的 advantage。
- 单 shape evolution 换 library generality：最优 kernel 需 dispatcher portfolio 才能覆盖 400+ shapes。
- 边界条件：主要 NVIDIA Ampere–Blackwell，clean-start 核心证据为 B200。
实验与结果
- Flash-KMeans 80M-token 三次 matched runs：CAKE median 1.144× FlashML、CUDA/PTX 0.928×；active evolve time 1.89 vs 3.73h（表 2、图 5）。
- Kimi Delta Attention prefill 对官方 FlashKDA 六 shape geomean 2.05×，并通过 SGLang end-to-end；decode 对 FlashInfer 30 shape 为 1.14×（§5.1）。
- TinyGEMM 35 canonical shapes kernel time 降 18%–23%，GPT-OSS-120B concurrency 128/TP1 output throughput 最高增 7.6%（§5.1）。
- 11 个 known-kernel comparison 中 10 个达到或超过 reference，剩余为 96.5%（§5.2）。
论断—证据表
| 论断 | 证据 | 评测边界 | 置信度 |
|---|---|---|---|
| co-designed IR 优于直接 CUDA/PTX search | 3× matched clean start（表 2） | 单 Flash-KMeans shape、80M tokens | 强 |
| CAKE 可产出 production-relevant kernel | KDA/TinyGEMM/MoE PR 与 E2E | NVIDIA/FlashInfer/SGLang | 中到强 |
| harness evolution 可泛化 | 多 kernel families | 无冻结-IR跨任务对照 | 中 |
批判性分析
论证链条
matched clean start 是很强的 representation 对照，多项 upstream case 又补足外部价值。尚未分清收益来自 IR 本身还是迭代加入的 primitives/verifiers，也未与 Triton/CuTe/TileLang 做同预算 agent study。
假设压力测试
换 AMD/TPU 或不规则 control flow 时，硬件显式 axes 和 primitives 可能需大改；若 compiler diagnosis 错误，agent 会稳定优化错误 abstraction。
实验可信度
三次 replicated run、token budget、active time、black-box baseline 与 source restriction清晰；但 80M token 成本高，许多 production case 不是随机多 seed。
系统性缺陷
IR/compiler/harness 共同演化会增加版本 provenance、trusted computing base 与长期维护成本；agent-generated kernel 的 sandbox/fault isolation仍需外部系统。
局限与后续工作
- 局限 1：跨硬件、跨 agent 和冻结 compiler 的泛化未验证。
- 后续工作 1：发布固定 CAKE release，在至少三 agent、三 GPU 代际与未见 kernel family 上做 matched-budget test。
- 后续工作 2：记录每个 compiler change 的触发 failure、回归面和跨任务收益。