FusedKV：通过跨层融合重构 KV 缓存

论文：Reconstructing KV Caches with Cross-Layer Fusion for Enhanced Transformers
作者：Hongzhan Lin, Zhiqi Bai, Xinmiao Zhang, Sen Yang, Xiang Li, Siran Yang, Yunlong Xu, Jiaheng Liu, Yongchi Zhao, Jiamang Wang, Yuchi Xu, Wenbo Su, Bo Zheng。
版本：arXiv:2512.03870v3，2026-02-19；获取与研读日期：2026-09-20。arXiv 注明已被 ICLR 2026 接收。
原始材料：版本页 · 本地 PDF · 作者主 TeX · 作者代码链接（本次未运行）。

本笔记以同版本作者主 TeX、实际引用的 15 份表格文件及公式宏为结构依据，结合 24 页 PDF 核验图表、正文和附录 A.1–A.8。覆盖全部实质性方法与实验；没有复现训练、审计公开代码或独立核验参考文献中的实验。下文页码均为 PDF 页码，与本篇印刷页码一致。HTML 仅在技能定位阶段获取，正式分析以下载的 TeX/PDF 为准。

论文总览

研究问题是：上半部分 Transformer 层能否不保存独立 KV cache，同时维持甚至改善语言建模能力？作者观察到，在可学习的跨层融合模型中，上层 Value 更偏向底层来源，Key 则利用底层与中间层来源。FusedKV 因而保留下半层的缓存，上半层从第 1 层和第 $n=L/2$ 层按通道加权重构；FusedKV-Lite 直接用 $K^n$ 和 $V^1$。

最扎实的主线是缓存容量减半与模型质量改善可以同时发生：1.5B 模型 WikiText PPL 从 13.67 降为 13.33，七项任务平均准确率由 54.55 提升至 55.82。但这不等于所有规模、任务和部署指标都改善。650M FusedKV 的平均准确率低于 Vanilla；带宽受限时完整融合的 TPOT 约为基线的 1.5 倍；128k RULER 平均分仍低于完整缓存模型。主要证据见表 1–3、16，PDF pp.5–8、23。

结构地图

一：动机

自回归生成需要反复访问历史 token 的 Key 和 Value。忽略批大小、数据精度及管理开销，普通模型缓存元素数为 $2LSH_{kv}D$，随层数 $L$、长度 $S$、KV 头数 $H_{kv}$ 和头维度 $D$ 线性增长。GQA 减少每层 KV 头数；跨层共享减少实际存储缓存的层数，两者作用于不同轴。

本文使用的 CLA 让相邻两层共享；YOCO 让上半层复用中间层的 K/V。作者追问：为什么必须让 K 和 V 来自同一层？注意力中 Key 决定匹配权重，Value 提供被加权的内容，两者有不同的功能。把“浅层 V 保存基础内容、深层 K 提供匹配信息”视为设计直觉是合理的，但本文的权重热图本身不能证明普适的信息分解定律。

比较口径需保留：未特别说明时 GQA 为两个 Q 头共享一个 KV 头；本文 YOCO 默认采用 full attention，不完全等同原始 YOCO 的所有高效注意力配置（Sec.1，p.2 脚注）。这是重新设计并训练的架构，论文没有证明对任意已训练模型直接替换缓存便能无损工作。

二：方法

2.1 输入、输出与层划分

令总层数 $L=2n$。存储层 $\mathcal L_S=\{1,\ldots,n\}$ 正常产生并保存历史缓存；重构层 $\mathcal L_R=\{n+1,\ldots,L\}$ 保留自己的 Query 和后续计算，通过来源映射 $\Phi(i)$ 得到 K/V：

原文简化单层矩阵为 $K^i,V^i\in\mathbb R^{S\times d}$；实际多头实现还需 batch、head 轴。$\theta_i$ 是重构参数，$\odot$ 表示逐元素相乘，权重沿 token 轴广播。训练优化语言建模目标和融合参数；这里“重构”不表示用 MSE 拟合某个冻结教师的原始 KV。（Sec.2.1–2.2，p.3，式 1–3。）

2.2 从稠密融合到两个来源

探索实验让 16 层、约 1B 模型的后 8 层通过可学习标量融合前 8 层缓存，训练约 80B token。图 2 的横轴是来源层、纵轴是目标层，左图是 Key、右图是 Value；颜色有正负，是融合系数而非概率或归一化贡献比例。图中采用 0 起始编号，正式方法采用 1 起始编号，不应混用。

来源：图 2，PDF p.2，作者原始图件。Value 在最浅层较集中，Key 分布更分散。作者据此选择第 1 层与第 $n$ 层作为较低成本的来源。注意系数绝对值还受激活尺度影响，不能独立量化因果重要性；后续来源层消融提供了更直接的支持。

2.3 FusedKV 和 Lite

对每个 $i>n$，FusedKV 使用：

$a,b$ 是按目标层学习的通道权重，不要求构成凸组合，也不是随 token 内容动态计算的路由概率。K 与 V 各有自己的融合系数。相比所有上层共用完全相同缓存，融合赋予各层不同的 K/V 表示。（式 4–5，p.4。）

Lite 则固定：

这里各重构层的 K/V 相同，但 Query 和隐藏状态不同，因此它们的注意力输出并不必然相同。Lite 只读一份 K 和一份 V，消除了双来源融合的额外读流量。（式 6，p.4。）

来源：图 3，PDF p.4。左侧普通模型每层独立存储；中间 Lite 从中层取 K、底层取 V；右侧完整 FusedKV 为 K/V 分别融合两个来源。向上的主干仍保留，不应理解为删掉上半网络。

教学例子：16 层模型中第 1–8 层保留缓存，第 9–16 层取第 1、8 层的缓存；并非全模型只保留两层。生成新 token 时，先更新下半层存储缓存，再依次计算上半层 Query 与注意力；完整版本宜在注意力 kernel 内按块融合，避免把所有上层重构结果重新长期存入显存。

2.4 为什么能够直接融合 post-RoPE Key

对一个二维旋转子空间，设旋转为 $R_t$、通道缩放矩阵为 $W=\operatorname{diag}(w_{2j},w_{2j+1})$。注意力项是：

若 $w_{2j}=w_{2j+1}=c_j$，则 $W=c_jI$，与旋转可交换，因此：

所以只剩相对位置。各来源满足同样条件时，线性相加仍保持这一性质。原文式 (7) 显式展开还说明：权重不相等会引入系数正比于 $w_{2j}-w_{2j+1}$ 的 $m+t$ 项。这里用 $t$ 表示 token 位置，以避免和来源层 $n$ 混淆。（Sec.2.4，pp.4–5；A.4，pp.16–17。）

工程上需要对实际 RoPE 配对的两个坐标绑权；物理存储布局未必是相邻坐标。还需要来源 Key 使用一致的位置/频率体系。这个结论保证特定线性操作的 RoPE 代数性质，并不能单独保证 128k 任务质量。Value 无此 RoPE 成对约束。

2.5 存储更省，为何解码可能更慢

表 1 的容量与 I/O 是元素计数；换成字节还需乘精度字节数及批大小。下表固定同样 $H_{kv}$，以普通模型为 1：

完整融合上半层要读两组 K/V：下半层 $LSH_{kv}D$ 加上上半层 $2LSH_{kv}D$，合计 $3LSH_{kv}D$。Lite 的总流量为 $2LSH_{kv}D$，相对完整融合少三分之一，却没有相对普通模型减半。容量与每步访问次数是两个指标。（表 1，p.5。）

对 prefill 的解释（本次分析）：仅需首个生成 token 输出时，上半层的历史位置表示不再用于生成独立 KV；可省去为这些位置继续构建上半层缓存的计算。最后位置仍需通过上半层。这种计算依赖上的变化解释了 TTFT 优势；它不意味着训练所有位置的 loss 或任意全序列输出请求都可删掉上半层计算。原文复杂度表只统计 attention，不含 FFN，不能当作全模型训练 FLOPs。

2.6 初始化不是无关细节

附录 A.3（pp.14–16）比较标准双来源融合、带额外单层辅助缓存的迭代融合，以及等价初始化。迭代方法逐层融合上一重构结果和固定来源；由于它仍是线性逐元素组合，可把递推展开成第 1、$n$ 层的系数，作为标准结构的初始权重，之后独立训练。

650M/200B token 的表 5 给出平均准确率：等价初始化 48.69，正态初始化 48.18，迭代 47.45。等价初始化 WikiText 18.06，正态 18.33。表 5 迭代行 WikiText 为 22.27、MNLI 为 18.09，与主表对应行明显不一致，可能存在列或录入问题；本笔记不擅自修正。论文也没有将主表每个配置与初始化策略的对应关系交代得足够清楚，复现时需核对代码。上半层缓存独立重构不意味着上半层 Query/隐藏状态的层间依赖消失。

三：实验设计与口径

来源：Sec.3.1/3.3，pp.6–8；表 4/6，pp.14–15。Qwen3 风格 decoder-only，FineWeb-Edu 预训练；词表 128,000，训练长度 8192，不绑输入输出嵌入。AdamW 的 $\beta=(0.9,0.95)$，weight decay 0.1，梯度裁剪 1，batch size 512，warmup 2000 steps，学习率从峰值 $3\times10^{-4}$ 余弦下降到 $3\times10^{-5}$。主预训练 RoPE base 为 10,000。

验证集是 FineWeb-Edu 随机抽取的 500M token；表 2 的 Valid Loss 是 loss，不是 PPL。WikiText 列是困惑度，越低越好。MNLI、SCIQ、LAMBADA、HellaSwag、ARC-E、ARC-C、MMLU 为 five-shot 任务，Avg Acc 是表中七项分数的算术平均，以百分数表示。附录多处写“八项”，但实际列出七项准确率，不能照抄为八项。没有报告多随机种子置信区间，微小差异不宜宣称统计显著。

对照包括完整缓存 Vanilla、相邻共享 CLA、中层共享 YOCO、层内共享 GQA；主表后五种压缩方法均为相对 Vanilla 的半缓存。4B 表只有 Vanilla/FusedKV，不应补造 Lite 的 4B 数值。速度实验配置、MoE 100B token、长上下文追加训练和 MLA 模拟分别属于不同实验。

四：结果与证据解读

4.1 主结果：语言建模收益更一致，下游并非全面领先

以下从表 2（p.7）和表 3（p.8）摘选，数值不混用附录不同实验。

1.5B FusedKV 比 Vanilla 平均准确率高 1.27 个百分点；WikiText PPL 降低 0.34，约 2.49% 相对下降。4B 平均准确率提高 0.94 个百分点。完整融合不是始终优于 Lite：650M Lite 的平均准确率更高，332M Lite 的验证 loss 更低；650M Lite 的 WikiText PPL 反而略差于 Vanilla。正文 Sec.3.2 将 332M/650M 平均准确率领先的方法顺序写反，实际以表 2 为准。

4.2 Scaling 与延长训练

图 7 和表 3（p.8）支持 332M–4B 已测试范围内较低 loss；各规模训练 token 数不同，不是严格固定训练量的纯参数缩放对照，也没有足够证据推导更大模型的一般 scaling law。

A.5（pp.17–19）跟踪 1.5B 检查点，并在 400B 后固定学习率 $3\times10^{-5}$ 追加 200B token；曲线支持优势在这段延长训练中仍存在。它削弱“只是早期收敛快”的解释，但有限时长曲线趋平不等于数学上的完全收敛。图 11 图注写 400B–600B，与正文描述的早期检查点范围有冲突；图 11 横轴实际至 400B，图 12 显示 440B–600B 的继续训练实验。

4.3 实际速度：区分三个不同问题

来源：图 4，p.6。横轴为序列长度；左图吞吐越高越好、右图 TTFT 越低越好，均以 MHA 为 1。FusedKV kernel 吞吐平均低 28.4%；Lite 与 MHA 接近。输入长度 8k 及以上，论文测得 TTFT 约减半。不能把右图优势解释为左图吞吐也翻倍。

来源：图 5，p.6。TPOT 越低越好。左图完整融合约为 Vanilla 的 1.5 倍，即每 token 延迟约增加 50%，不是降低 50%；Lite 约为基线。右图使用 $H_q=128,H_{kv}=2$ 的 GQA 场景，额外融合相对注意力计算约为 $3H_{kv}/(4H_q)=3/256$，TPOT 接近基线。这是特定算术强度条件，并不代表所有 GQA 配置都无额外开销。

本次阅读没有复现 benchmark；正文速度段缺少足够统一的硬件、batch 和实现细节来保证跨系统复现。尤其附录 MLA 的表 9–10 是 InferSim 估算，不能包装成真实 vLLM/SGLang 端到端部署测量。

4.4 消融与梯度：支持设计，但机制证据有边界

图 8（p.9）比较正确方向、反向方向和单来源可学习缩放。反向 $K^1,V^8$ 比 $K^8,V^1$ 差；在正确来源上增加可学习通道权重可进一步改善 WikiText，后期 HellaSwag 也略有收益。正文提及 LAMBADA，但图 8 实际只有 HellaSwag 和 WikiText，不能从此图核实 LAMBADA 声称。

表 17（p.23；A.8 解释在 p.24）的平均准确率：

固定 K 后，V 越浅在这些测试点上更好。固定 V 后，中层 K 的平均准确率最高，但第 5 层 K 的 WikiText 更好，因此“最优来源”取决于指标。来源只测了有限几个索引，不代表穷尽组合后的全局最优。

Sec.4/图 9（pp.9–10）展示浅层 Q/K/V 投影梯度 L2 范数较大。作者将其解释为较强梯度通路和更快学习。本次分析认为，这是合理机制线索，但梯度大不必然代表更新有效；AdamW、梯度裁剪与参数尺度均可能改变实际更新。论文没有通过控制梯度的干预实验建立因果关系。

4.5 与其他架构或压缩方法组合

MLA（A.6.1，pp.18–20，表 7–10）：650M 基线的 KV latent rank 为 736、Q rank 为 864、16 heads、RoPE head dim 32。上半层融合压缩 latent 和位置 Key。缓存相对 MHA 从 1/2 降到 1/4；WikiText 21.03→20.08，平均准确率 45.03→44.79，质量指标方向并不一致。MLA 联合压缩 K/V，因此 Lite 的不同来源策略不能原样套用。InferSim 的 16-head、128k/2k 示例：TTFT 8010.93→4014.26 ms，TPOT 23.58→29.39 ms；48-head 的同长度例子 TPOT 均 59.64 ms。这些是模拟结果。

GQA（A.6.2，p.21，表 11）：GQA→GQA+FusedKV，缓存 1/2→1/4，WikiText 19.05→18.48，平均准确率 47.04→47.15；归一化 TPOT 0.512→0.741。因此组合比 MHA 快，却比 GQA 单独使用慢约 44.7%。不能只选 MHA 作分母宣称组合没有代价。表 11 的 GQA 准确率与表 2 稍异，分别保留。

MoE（A.6.3，p.21，表 12）：650M 基础架构改成 8 experts、top-2，训练 100B token。WikiText：Vanilla 19.62、YOCO 20.17、Lite 19.58、FusedKV 19.50。论文文字说 Lite 训练 loss 最低，但表内 Vanilla 2.513 低于 Lite 2.524；Lite 只比列出的其他压缩方案低。这里没有完整下游任务证据。

SWA 混合架构（A.6.4，pp.21–22，表 13）：16 层中每四层的前三层用窗口 512，第四层用全注意力。+W 仅共享上半窗口层，+WF 也共享全注意力层；来源按注意力类型选择。Hybrid 基线缓存占全注意力参考的 29.7%，FusedKV+WF 为 12.9%，平均准确率 47.84→48.88，但 WikiText 24.04→29.63，约恶化 23.3%。Lite+WF 的 WikiText 为 32.40。原文称其为轻微下降，本次分析认为不能忽略其幅度。来源类型、缓存长度与掩码必须匹配。

量化（A.6.5，pp.22–23，表 14）：1.5B 结合 KIVI，FusedKV FP16 平均准确率 55.82，4-bit 55.63，2-bit 50.73；Lite 对应 55.30、55.12、50.28。4-bit 损失约 0.2 个百分点，2-bit 约 5 个百分点。表 14 的容量分母是各自 FP16 FusedKV/Lite，1/4 不是相对完整 Vanilla；结合跨层减半，理想 payload 约为 FP16 Vanilla 的 1/8，不含量化元数据开销。

剪枝（同节，表 15，p.23）：Wanda 非结构化剪枝 50% 后，FusedKV 平均准确率 55.82→48.56，Lite 55.30→48.30。此处表中 1/2 指 model storage 而非 KV cache；简单叠加损失明显，需要联合设计，也不能由稀疏率直接推导真实加速。

4.6 长上下文：优于 YOCO，但低于完整缓存

1.5B 模型先用 50B token 扩至 32k，RoPE base 50,000；再用 25B token 扩至 128k，base 500,000。它不是未经适配的直接外推。（A.7，p.23。）

来源：表 16，p.23。FusedKV 保留约 85.5% 的 Vanilla 平均分，Lite 约 86.2%；这里是分数比，不是“保留多少信息”的测量。各子任务波动很大，例如 multikey_2 为 Vanilla 63.0、FusedKV 4.0，不能以平均分掩盖某些检索能力损失。该实验支持“比 YOCO 更好的长上下文折中”，不支持“长上下文无损”。

五：结论、可信范围与后续问题

可靠贡献：将 K/V 来源解耦，给出两来源融合和低 I/O 的 Lite，并在明确的成对权重约束下证明 post-RoPE 融合的兼容性。预训练实验说明跨层缓存共享也可以改善语言建模，而非必然以质量换容量。

使用边界：这是训练架构选择；完整融合尤其适合能容忍额外访存或计算可掩盖访存的条件，Lite 更适合关注带宽受限解码延迟的条件。实际选择仍需在目标系统同时测峰值显存、TTFT、TPOT、吞吐与任务质量。本论文尚不足以证明大规模生产部署、任意预训练模型转换、所有长上下文能力均受益。

阅读中需保留的疑点：正文与表格存在小模型优胜者顺序、七项/八项任务数、初始化表迭代行、MoE 最低 loss、图 8 的 LAMBADA 证据以及图 11 范围等不一致。本笔记选择明确数值表与实际图轴，不替作者推定修正；若复现，应先核对配置及日志。没有多种子误差报告，不能将所有微小差异描述为统计显著。

值得进一步验证的问题：同计算预算下是否仍有优势；单来源可学习 Lite 能否接近完整融合；来源层和共享比例能否按任务选取；128k 多 Key 检索的损失能否通过训练目标补偿；MLA latent 融合在真实 kernel 和服务系统中是否仍有 TTFT 收益。以上均是本次阅读提出的问题，不是论文已完成的结果。