# Low-Rank Key Value Attention：中文研读笔记

**作者：** James O’Neill、Robert Clancy、Mariia Matskevichus、Fergal Reid（Intercom AI Group）  
**论文：** [arXiv:2601.11471v3](https://arxiv.org/abs/2601.11471v3)，2026-04-07 修订；本次研读日期：2026-10-15。  
**材料与成品：** [原文 PDF](../source/paper.pdf) · [英文汇报 PDF](slides.en.pdf) · [可编辑 Beamer 源文件](slides.en.tex)。下文页码均为从 1 开始的 PDF 页码，与本文印刷页码一致。

## 论文总览

LRKV（Low-Rank Key-Value Attention）把每个注意力头的 K/V 投影写成“所有头共享的稠密矩阵 + 每头独立的低秩残差”：

$$
W_h^{K,V}=W_{\mathrm{shared}}^{K,V}+U_h^{K,V}(B_h^{K,V})^\top.
$$

它希望保留 MQA 的共享效率，同时通过残差恢复不同头的表达能力。训练时还原完整 K/V 计算注意力；解码时只缓存共享特征和低维残差特征。在线性投影的设定下，利用矩阵乘法结合律可以直接计算注意力，缓存占 MHA 的比例为 $1/H+r/d_h$。

原文 Table 1 报告 LRKV 在 128M、1.2B、2.5B、6.3B 四个规模上均取得最低预训练交叉熵，主配置的缓存报告值约为 MHA 的 45%–53%。Table 2 中，经过相同监督式 midtraining 后，LRKV 的五项任务平均分也最高，但代码生成等单项存在回退。这个结果支持一个有价值的架构思路：**跨头共享公共部分，把额外存储留给每个头的差异。**（Sec. 3–4，pp. 3–9，Tables 1–2）

理解这篇论文需要同时保留三个具体条件：低秩关联计算的公式本身成立；完整 RoPE 能否直接作用于压缩缓存还需要额外条件；正文与附录的一些容量、配置和消融数字互不一致。因此，“共享加残差”的设计值得研究，但“完整 RoPE 无额外代价”“全面优于 MLA 的性能—内存前沿”“已经验证的部署加速”并不能直接从本文推出。下面把方法、作者报告的实验及影响结论的矛盾分别讲清楚。

## 结构地图

| 原文章节 | 核心作用 | PDF 页码与主要证据 |
|---|---|---|
| 1. Introduction | KV 冗余与头特异性的矛盾 | pp. 1–2，Fig. 1 |
| 2. Related Work | 与 MQA/GQA、MLA、LoRA 等比较 | pp. 2–3 |
| 3. Methodology | 分解、缓存、关联计算与复杂度 | pp. 3–4，Eqs. (1)–(10) |
| 4.1 Pretraining Results | 跨规模损失、收敛步数、8K 训练 | pp. 5–6，Table 1，Figs. 2–4 |
| 4.2 Downstream Task Performance | 监督式 midtraining 后的任务表现 | pp. 6–7，Table 2 |
| 4.3 Why Low-Rank Key-Value Attention Works | 秩消融、双线性形式、头多样性、幅值 | pp. 7–9，Figs. 5–8 |
| 5. Discussion / 6. Conclusion | 作者对容量与共享的解释 | pp. 9–10 |
| A. Related Work (Full Version) | 相关工作补充 | pp. 13–14 |
| B. Shared Subspaces, Spectral Bias, and Information Structure | 谱结构和分解几何的解释 | pp. 14–15 |
| C. Principled Head Diversity Analysis via PCA in Bilinear Form Space | 中心化 Gram 矩阵、谱、热图与局限 | pp. 15–22，Table 3，Figs. 9–18 |
| D. Experimental Setup (Full Details) | 模型、训练、baseline、秩与长上下文 | pp. 22–26，Tables 4–9 |
| E. Pretraining-Downstream Correlation Analysis | 预训练质量与下游分数的关联 | pp. 26–27，Fig. 19 |
| F. Additional Experimental Details and Computational Analysis | 优化器和计算开销比较 | pp. 27–28，Table 10 |
| G. KV Cache Memory Measurements | 缓存形状及容量统计 | pp. 28–29，Tables 11–12 |
| H. Limitations and Future Work | 规模和系统实现的适用条件 | p. 29 |

## 一：动机——共享什么，保留什么

标准多头注意力（Multi-Head Attention，MHA）为每个头保存一份历史 K/V。设上下文长度为 $L$、头数为 $H$、头维度为 $d_h$，每层需要 $2LHd_h$ 个缓存元素。上下文、批量和层数的增加都会线性放大这部分存储。

多查询注意力（Multi-Query Attention，MQA）让全部头共享 K/V，仍保留独立的 Q；分组查询注意力（Grouped-Query Attention，GQA）在组内共享 K/V。两者通过减少 KV 头数节省内存，但共享越强，可用于表达头间差异的 KV 参数越少。LRKV 提出中间方案：公共部分只保存一次，每个头再携带一个较小的残差。

| 机制 | 每层、每 token 缓存元素数 | 头间自由度来自哪里 |
|---|---:|---|
| MHA | $2Hd_h$ | 每头独立的完整 K/V |
| MQA | $2d_h$ | Q 独立，K/V 完全共享 |
| GQA | $2n_{kv}d_h$ | 组间 K/V 独立、组内共享 |
| 本文采用的简化 MLA | $d_c$ | 共享 latent 经每头不同上投影 |
| LRKV | $2(d_h+Hr)$ | 共享稠密 K/V 与每头秩 $r$ 残差 |

这里以 $n_{kv}$ 表示 KV 头数，避免原文不同位置对 $G$ 使用“组数”和“组大小”两种含义。MLA 的缓存公式也沿用本文单一联合 latent 的口径，不包含另行设计的位置编码缓存。（Sec. 2–3；Tables 4、11，pp. 23、28）

**与 LoRA 的关系。** 两者都有低秩加法结构，但 LRKV 在预训练中联合学习共享基座和所有头的残差，并把激活缓存布局一起改变。它不是把一个训练好的 MHA 做低秩微调，也不是对已生成的 KV 做事后截断。

**与 MLA 的区别。** 按原文自己的公式，MLA 的 $Z=XW_{\mathrm{down}}$ 保留每个 token，只降低每个 token 的特征维度。原文把它多次称为沿 token 维压缩，这种说法容易被误读为减少序列位置。更准确的比较是：MLA 通过一个共享低维 latent 产生各头 K/V；LRKV 保留一个不受秩约束的共享基座，仅约束各头相对于它的差异。两者都不必删除历史 token。

## 二：方法——从参数分解走到实际缓存

### 2.1 符号与表达能力

| 符号 | 形状或含义 |
|---|---|
| $X$ | $L\times d$，当前层输入；$d=Hd_h$ |
| $W_h^Q$ | $d\times d_h$，每头独立查询投影 |
| $W_{\mathrm{shared}}^{K,V}$ | 各为 $d\times d_h$，所有头共享、无低秩约束 |
| $U_h^{K,V}$ | 各为 $d\times r$，产生残差 latent |
| $B_h^{K,V}$ | 各为 $d_h\times r$，把残差 latent 映回头空间 |
| $R_h^{K,V}=XU_h^{K,V}$ | 各为 $L\times r$，需要缓存 |
| $N,b,s$ | 层数、批量、每个元素字节数；与单头因子 $B_h$ 区分 |

以 K 为例，原文 Eqs. (2)–(5) 给出：

$$
W_h^K=W_{\mathrm{shared}}^K+U_h^K(B_h^K)^\top,
\qquad
K_h=K_{\mathrm{shared}}+R_h^K(B_h^K)^\top.
$$

V 完全类似。**低秩约束落在差分 $W_h-W_{\mathrm{shared}}$ 上，而非整个 $W_h$ 上。** 所以单头有效投影可以是满列秩；但这不表示有限 $r$ 下能够表示任意一组彼此独立的 MHA 投影。跨头约束仍然存在，它正是共享带来的归纳偏置。（Sec. 3，p. 3）

$r=0$ 时退化为 MQA 式共享；当 $r\ge d_h$ 时，残差足以表示任意 $d\times d_h$ 矩阵差，从表达能力上可以覆盖 MHA。取 $r=d_h$ 且仍使用原来的分解缓存时，其容量比为 $1+1/H$，反而大于 MHA。提高秩增加表达能力，却不会一直增加内存收益。

### 2.2 训练：共同学习，而不是固定公共基座

共享 K/V 使用常规 Kaiming 初始化；$U_h,B_h$ 使用小幅随机初始化，作者描述初始残差范数约为共享部分的 0.1 倍。两条路径在预训练中都更新，Q 保持每头独立的完整投影。训练时先构造完整的 $K_h,V_h$，再执行通常的注意力计算。（Sec. 3，p. 3）

这意味着本文的主要缓存收益出现在自回归解码阶段。训练收敛需要更少步数，是另一条实验结论；不能把解码缓存缩小理解为训练显存也按同样比例缩小。

### 2.3 解码：缓存特征，不缓存投影矩阵的副本

每来一个新 token $x_t$，每层追加：

$$
k_{s,t}=x_tW_{\mathrm{shared}}^K,\quad
v_{s,t}=x_tW_{\mathrm{shared}}^V,
$$

$$
r_{h,t}^K=x_tU_h^K,\quad r_{h,t}^V=x_tU_h^V.
$$

共享 K/V 各存一份，每个头的残差 latent 各存一份。$B_h^K,B_h^V$ 是模型参数，所有位置共用，不应计入逐 token 缓存。这里共享的是 **$XW_{\mathrm{shared}}$ 的输出**；附录 D.3 把缓存对象简写成 $W_{\mathrm{shared}}$，应结合 Sec. 3 的定义理解。

### 2.4 两次结合律，避免展开历史 K/V

对当前头的行向量查询 $q_h\in\mathbb R^{1\times d_h}$，原文 Eq. (6) 为：

$$
q_hK_h^\top
=q_hK_{\mathrm{shared}}^\top
+(q_hB_h^K)(R_h^K)^\top.
$$

第一项是当前查询对共享键的匹配；第二项先把当前查询投到 $r$ 维，再与所有历史残差 latent 匹配。两项相加后，统一除以 $\sqrt{d_h}$ 并执行带因果约束的 softmax，得到 $a_h\in\mathbb R^{1\times L}$。

原文 Eq. (7) 接着计算：

$$
o_h=a_hV_{\mathrm{shared}}+(a_hR_h^V)(B_h^V)^\top.
$$

值分支先将历史 latent 按注意力权重汇总为一个 $r$ 维向量，最后只对这个向量升维。无需先为全部 $L$ 个位置恢复 $d_h$ 维 V。输出仍是 $d_h$ 维，随后像普通 MHA 一样拼接各头并作输出投影。（Sec. 3，p. 4，Eqs. (6)–(7)）

下面是上述线性投影设定的教学伪代码；位置编码和归一化的处理见 2.7。

```text
每层处理新 token x：
  追加 x WsharedK、x WsharedV 到共享缓存
  对每个头 h：
    追加 x UhK、x UhV 到残差缓存
    q = x WhQ
    logits = q Kshared^T + (q BhK) (RhK)^T
    a = softmax(logits / sqrt(dh) + causal_mask)
    out[h] = a Vshared + (a RhV) (BhV)^T
  返回 concat(out) Wo
```

这里的“精确”指：**同一个 LRKV 模型中，分解计算与显式展开计算相同。** 它不保证小秩 LRKV 与任意另一个 MHA 模型等价。softmax 也没有被线性化，解码仍需要扫描历史位置，完整序列的稠密注意力依然有二次的交互规模。

### 2.5 缓存预算：45%–53% 是剩余比例

每层缓存元素数与相对比例分别为：

$$
M_{\mathrm{LRKV}}=2L(d_h+Hr),\qquad
\rho=\frac{M_{\mathrm{LRKV}}}{M_{\mathrm{MHA}}}
=\frac1H+\frac r{d_h}.
$$

总字节数为 $2sNbL(d_h+Hr)$；bfloat16 时 $s=2$。满足 $r<d_h(1-1/H)$ 才能比 MHA 节省缓存。（Eqs. (8)–(9)，p. 4）

按 Table 7 的秩重算，得到下表。它们是由配置得到的理论值，不是端到端服务测量：

| 原文规模标签 | $H$ | $d_h$ | Table 7 的 $r$ | 按 Eq. (9) 重算的剩余缓存 |
|---|---:|---:|---:|---:|
| 128M | 6 | 128 | 46 | 52.60% |
| 512M / 1.2B | 12 | 128 | 51 | 48.18% |
| 2.5B | 18 | 128 | 55 | 48.52% |
| 6.3B | 32 | 128 | 54 | 45.31% |

例如 $H=18,d_h=128,r=55$ 时，每 token 每层从 $4608$ 个元素降到 $2236$ 个元素，比例为 48.52%，即节省 51.48%。摘要的“使用 45%–53% 缓存”与正文部分位置的“减少 45%–53%”口径不同，应区分剩余比例和减少比例。

### 2.6 计算与参数：缓存小，不代表每步 FLOPs 更少

标准注意力解码时，每头的主要历史扫描代价是 $O(Ld_h)$。LRKV 多出残差匹配、残差聚合以及两个小投影，额外代价为：

$$
O(Lr+rd_h)\quad\text{每头、每步}.
$$

长上下文下，额外扫描项相对主要注意力扫描约为 $r/d_h$。因此压缩缓存可能减轻带宽压力，同时增加算术操作；能否降低时延取决于融合内核、共享缓存的实际复用和硬件瓶颈。（Sec. 3，p. 4）

K/V 参数量为：

$$
P_{\mathrm{LRKV,KV}}=2dd_h+2Hr(d+d_h),\qquad
P_{\mathrm{MHA,KV}}=2Hdd_h.
$$

若 $d=Hd_h$，其比例是 $1/H+(r/d_h)(1+1/H)$，与缓存比例不同。这只统计 K/V 参数，不等于整个模型的参数缩减比例。（Eq. (10)，p. 4）

附录 F 给 MLA 记入历史 latent 展开的 $O(Ld_cd_h)$ 开销，却让 LRKV 使用关联计算，这个比较口径不统一。它在同一附录中也讨论了 MLA 的关联计算：若定义 $K=ZW_{\mathrm{up}}^K$、$V=ZW_{\mathrm{up}}^V$，则可用 $(q(W_{\mathrm{up}}^K)^\top)Z^\top$、$(aZ)W_{\mathrm{up}}^V$ 避免展开，这里将转置按矩阵维度写全。故不能把“MLA 必须重构历史 K/V”作为 LRKV 的普遍优势；公平的时延比较需要对双方使用对应的优化实现。（pp. 27–28，Table 10）

### 2.7 完整 RoPE 的兼容性：线性不足以保证可交换

Sec. 3 在 p. 4 声称可以先对低维残差 latent 做 RoPE，再乘 $B_h^\top$，从而保持原来的缓存和开销。**以下是本次分析：该交换对任意可学习 $B_h$ 一般不成立。**

为方便说明，改用列向量：令某位置残差键为 $B_hz_t$，完整头空间中的旋转为 $P_t\in\mathbb R^{d_h\times d_h}$。正确旋转是：

$$
P_t(k_{s,t}+B_hz_t)=P_tk_{s,t}+P_tB_hz_t.
$$

若想只在 $r$ 维缓存空间旋转，必须存在 $\widetilde P_t\in\mathbb R^{r\times r}$，使：

$$
P_tB_h=B_h\widetilde P_t.
$$

这要求 $B_h$ 的列空间在相应旋转下保持不变。线性性允许旋转分配到两个加项，却不会自动允许旋转穿过一个任意矩形矩阵。

一个二维教学反例就能看清问题：令 $B=e_1$，残差只能沿第一坐标轴变化；90° 旋转后 $PB$ 的方向是第二坐标轴，而任意标量 latent 经同一个 $B$ 都只能回到第一坐标轴。更直接地写，$PB=e_2$，不存在标量 $\widetilde P$ 使 $e_2=e_1\widetilde P$。该反例说明“任意 $B$ 都可交换”的主张缺少条件，并非声称所有受约束的 RoPE 兼容分解都不可行。

如果约束 $B_h$ 选择完整旋转平面、改变位置编码方案，或保留更丰富的位置相关状态，可能构造兼容方案；这些都需要重新给出表达能力、缓存和计算的推导。本文没有给出这条完整论证。因此不能把 Eqs. (6)–(7) 的纯线性恒等式直接升级为“任意完整 RoPE 下的同成本精确解码”。

另一个需衔接的实现细节是 Sec. 4.3 提到的投影后 RMSNorm。它对共享项与残差项的和做归一化，属于依赖每个头、每个 token 的非线性缩放，不能把两项分别归一化后相加。精确实现可能需要保存或计算额外的缩放因子；本文的缓存推导没有说明这一处理。该问题不否定线性分解恒等式，但影响从恒等式走向完整模型推理的实现。（p. 9，Fig. 8）

## 三：实验——比较对象与预算

### 3.1 预训练协议

所有模型使用 FineWeb-Edu，自回归 decoder-only 架构，基准为 MHA、GQA、MQA、MLA；只更换注意力模块，其余组件固定。规模标签指 **MHA 基础架构** 的参数量，不代表不同机制严格等参数。（Sec. 4，pp. 4–5；App. D.1，pp. 22–23）

| 实验组 | 上下文长度 | 训练 token | 有效 tokens/batch | 用途 |
|---|---:|---:|---:|---|
| 128M | 2048 | 100B | 32,768 | 基础比较与秩消融 |
| 1.2B、2.5B、6.3B | 2048 | 各 50B | 32,768 | 跨规模比较 |
| 512M 长上下文 | 8192 | 50B | 32,768 | 8K 训练 |

训练使用单节点 8×H200、bfloat16；矩阵参数用 Muon、embedding 用 AdamW。作者列出的矩阵、embedding、unembedding 学习率分别为 0.02、0.2、0.004，采用余弦衰减、2000 步 warmup、weight decay 0.1、梯度裁剪 1.0。较大模型用物理 batch 8、累积 2 步；128M 用 batch 16，8K 组用 batch 4。（Tables 5–6，p. 23；App. F.1，p. 27）

GQA 的 KV 头数随规模变化：128M/1.2B/2.5B/6.3B 分别为 3/4/6/2；MLA 的 $d_c$ 分别为 128/256/384/1024。因此主表的比较同时改变了缓存预算，不能仅凭这一组结果判断等缓存下谁最好。（Table 7，p. 24）

配置表有两处影响复现的矛盾：Table 5 把 512M 与 1.2B 都列为 24 层、1536 宽；把 2.5B 列为 18 层，而 Figs. 7、8、14 的 2.5B 分析横轴覆盖 36 层。以下保留论文的规模标签，不自行推定实际训练用了哪套架构。

### 3.2 指标

- **交叉熵 CE，越低越好。** 衡量对下一个 token 的平均负对数似然。
- **每字节比特数 BPB，越低越好。** 若 NLL 使用自然对数，则 BPB 是总 NLL 除以 $\ln 2$ 再除以文本字节数；它还依赖 token 与字节的统计口径。
- **下游分数，越高越好。** ARC-E/C、MMLU 衡量选择题表现，GSM8K 衡量数学解题，HumanEval 衡量代码生成。论文把五项百分数的算术平均定义为 Combined，不是按任务样本量加权。

本文对下游评测只笼统写采用标准 zero-shot 或 few-shot 协议，未逐任务明确 shot 数、代码采样和工具使用细节。比较应限定在作者报告的这一套评测中，尤其 GSM8K 的训练混合中包含 calculator tool use。（App. D.2、D.6，pp. 24、26）

### 3.3 监督式 midtraining

预训练后，用约 568K 样本做一个 epoch 的监督训练：460K SmolTalk 对话、100K MMLU auxiliary train、8K GSM8K。上下文长度 2048，batch 为 524,288 tokens；不同注意力机制使用相同设置。原文称之为 midtraining，实际描述的是监督式指令/任务适应，所以 Table 2 应读成 **该训练阶段之后的表现**。（App. D.2，p. 24）

## 四：结果——哪些结论由哪些证据支持

### 4.1 预训练：四个规模的最终 CE 都更低

下表完整保留 Table 1 的 CE；同一列内比较，越低越好。

| 方法 | 128M / 100B | 1.2B / 50B | 2.5B / 50B | 6.3B / 50B |
|---|---:|---:|---:|---:|
| MHA | 2.903 | 2.530 | 2.389 | 2.319 |
| GQA | 2.918 | 2.536 | 2.397 | 2.354 |
| MQA | 2.929 | 2.573 | 2.408 | 2.304 |
| MLA | 2.901 | 2.564 | 2.392 | 2.377 |
| **LRKV** | **2.893** | **2.509** | **2.376** | **2.288** |

来源：Table 1，p. 5。LRKV 相对 MHA 的 CE 降幅按表中数字计算，依次约为 0.34%、0.83%、0.54%、1.34%。对应 LRKV 的 BPB 为 0.872、0.758、0.719、0.692；MHA 为 0.878、0.765、0.723、0.701。主表支持跨规模损失改善，但没有显示严格单调的相对改善趋势。

特别是 6.3B，MQA 的 CE=2.304 已优于 MHA 的 2.319，LRKV 再降到 2.288。因此“减少 KV 自由度一定降低预训练质量”并不符合该实验；参数化和优化带来的归纳偏置也在影响结果。

**收敛步数与训练速度要分开。** Fig. 3(b) 在 2.5B 上比较 LRKV 达到各 baseline 最终损失所需的训练量：相对 MHA、MLA、GQA、MQA，分别少约 18.7%、21.4%、24.5%、29.7%，平均 23.6%。这些是达到目标损失所需步数/token 的节省。

![图 3：缓存—质量与到达目标损失的训练量](figures/fig03-efficiency.png)

原图 Fig. 3，p. 6。左图横轴是相对 MHA 缓存占比，纵轴为最终 BPB；越靠左下越好。右图纵轴是 LRKV 达到对应 baseline 最终损失所节省的训练量，越高表示越早达到目标。原图用“compute savings”命名；p. 5 脚注明确限定为 sample efficiency，并说明机制特定的 FLOPs 修正来自推理口径。故它不能作为每步训练更快或实际训练墙钟时间减少 23.6% 的证据。

### 4.2 8K 上下文：报告的 CE 改善扩大

| 方法 | 缓存占比（原文） | CE ↓ | BPB ↓ |
|---|---:|---:|---:|
| MHA | 100% | 2.740 | 0.494 |
| GQA | 33.3% | 2.704 | 0.488 |
| MQA | 8.3% | 2.728 | 0.492 |
| MLA | 8.3% | 2.714 | 0.489 |
| **LRKV** | **48.2%** | **2.665** | **0.481** |

来源：Table 9，p. 26；512M 标签、8192 上下文、50B tokens，LRKV $r=51$。使用表中的未四舍五入到两位小数的 CE，改善为 $(2.740-2.665)/2.740\approx2.74\%$。所有压缩方法都优于 MHA；作者将其解释为可能存在隐式正则化作用。

![图 4：512M 标签下的 8K 预训练曲线](figures/fig04-long-context.png)

原图 Fig. 4，p. 6。下方横轴为训练 token，上方是作者标注的训练计算量，纵轴为测试 CE；红色 LRKV 曲线最后最低。这检验的是固定 8K 上下文下的语言建模训练，而非更长上下文外推或专门的长距离检索能力。该组 BPB 与短上下文表的 CE/BPB 比例不同，原文没有给出统一换算细节，因此不跨组直接比较 BPB 大小。

### 4.3 下游：平均表现更好，代码生成存在取舍

Table 2 给出的 Combined 如下，单位均为百分数：

| 方法 | 128M | 2.5B | 6.3B |
|---|---:|---:|---:|
| MHA | 17.9 | 35.3 | 38.8 |
| GQA | 16.8 | 35.8 | 36.3 |
| MQA | 17.3 | 33.3 | 33.4 |
| MLA | 18.0 | 36.9 | 36.9 |
| **LRKV** | **18.9** | **37.9** | **40.2** |

来源：Table 2，p. 6。6.3B LRKV 的五个公开单项分数平均得到 40.36%，与表中 40.2% 不一致；上表保留原报告值。这一误差不改变该表内的领先排序，但汇报时不应把 40.2% 当作已经对齐单项的精确均值。

2.5B 的细分结果更能说明收益来自哪里：

| 任务 | MHA | LRKV | LRKV − MHA（百分点） |
|---|---:|---:|---:|
| ARC-Easy | 66.6 | 70.7 | +4.1 |
| ARC-Challenge | 47.1 | 53.8 | +6.7 |
| MMLU | 39.3 | 42.2 | +2.9 |
| GSM8K | 10.2 | 11.3 | +1.1 |
| HumanEval | 13.4 | 11.7 | **−1.7** |

LRKV 在科学问答和知识任务上收益较明显，但 HumanEval 在 2.5B 就低于 MHA，6.3B 也从 MHA 的 14.6 降为 12.8。128M 的 GSM8K 只有 0.3，低于 MHA 的 1.0。应把摘要的下游优势理解为平均表现优势，而不是五项任务、各个规模全部第一。

MQA 的 HumanEval 分别为 2.4、3.7、4.3，明显低于其他主要方法。作者认为这是完全共享 KV 限制头特异性的结果；当前比较支持这一解释，但没有通过单独控制头多样性的干预来确定因果关系。

附录 E 的 Fig. 19 将 2.5B 五个架构的预训练 BPB 与 Combined 作散点图，报告 $R^2=0.786$。它支持这五个模型中更好的预训练质量通常伴随更好的下游表现；不能仅凭相关性断言整个下游差值完全由 BPB 改善导致。（pp. 26–27）

### 4.4 秩消融：容量—缓存曲线有用，“全面支配 MLA”不成立

Table 8 在 128M、100B tokens、$H=6,d_h=128$ 下给出：

| 配置 | 缓存占比 | CE ↓ | BPB ↓ |
|---|---:|---:|---:|
| LRKV $r=8$ | 22.9% | 2.908 | 0.881 |
| LRKV $r=16$ | 29.2% | 2.905 | 0.880 |
| LRKV $r=32$ | 41.7% | 2.896 | 0.877 |
| LRKV $r=64$ | 66.7% | 2.888 | 0.875 |
| LRKV $r=128$ | 116.7% | 2.877 | 0.873 |
| MLA $d_c=128$ | 8.3% | 2.901 | 0.876 |
| MLA $d_c=192$ | 12.5% | 2.898 | 0.876 |
| MLA $d_c=384$ | 25.0% | 2.894 | 0.875 |
| MHA | 100.0% | 2.903 | 0.878 |

来源：Table 8，p. 25。MLA-192 的表格印成“12-5%”，这里按 $192/(2\times6\times128)=12.5\%$ 写出。LRKV 内部随着秩增大，CE 单调降低；$r=32$ 已超过 MHA，而 $r=128$ 的最好损失伴随着更大的缓存。

![依据 Table 8 重绘的性能—缓存比较](figures/table08-frontier.png)

**根据原文 Table 8（p. 25）重绘。** 横轴为缓存占比，纵轴为最终 CE，越靠左下越好。图中没有用原文 Fig. 5 的散点读数替换表值。

为什么要区分图表？Fig. 5（p. 7）把 MLA-$d_c=128$ 画在约 16.7% 缓存、CE≈2.947 的位置，而 Table 8 给的是 8.3%、2.901；MLA-$d_c=384$ 的图表位置也不一致。按表值，MLA-384 比 LRKV-32 **缓存更少且 CE 更低**，所以不支持正文声称的 LRKV 在全范围支配 MLA 前沿。LRKV-64 的 CE 更低，但需要 66.7% 缓存，是明确的容量取舍。

主配置的 $r=46$ 与消融的 $r=64$ 也不能混用：前者在 Table 1 的 128M CE/BPB 为 2.893/0.872，后者在 Table 8 为 2.888/0.875，CE 与 BPB 的排序不同。因此讨论跨表的小差距时，以同一张表、同一指标为单位更可靠。Sec. 4.3 另把 CE=2.877 对应的 4.156 标成 BPB；其数值接近 CE/$\ln2$，更像每 token 比特数，不应与 Table 8 的 0.873 BPB 混合。

### 4.5 头多样性：比较双线性算子，而不只比较 K

不带位置旋转和额外非线性时，注意力 logit 可写成 $x_iA_hx_j^\top$，其中：

$$
A_h=W_h^Q(W_h^K)^\top\in\mathbb R^{d\times d}.
$$

如果 Q/K 同时右乘一个正交矩阵 $R$，$A_h$ 不变。这使它比单独比较 $W_h^K$ 更适合衡量这种参数坐标变换下的头差异。内积可以用小矩阵计算：

$$
\langle A_i,A_j\rangle_F
=\operatorname{tr}\!\left((W_i^K)^\top W_j^K(W_j^Q)^\top W_i^Q\right).
$$

无需显式构造每个 $d\times d$ 的 $A_h$。附录 C.1 使用范数归一化后的相似度构成 Gram 矩阵 $G$，再用 $J=I-\mathbf1\mathbf1^\top/H$ 中心化：

$$
G_c=JGJ,\qquad
p_i=\frac{\lambda_i(G_c)}{\sum_j\lambda_j(G_c)},\qquad
r_{\mathrm{eff}}=\exp\!\left(-\sum_i p_i\ln p_i\right).
$$

特征值越均匀，有效秩越高；方差越集中在少数方向，有效秩越低。这里的 $r_{\mathrm{eff}}$ 是头算子集合的谱统计，与投影残差的秩 $r$ 是两个不同概念。（Sec. 4.3，pp. 7–9；App. C.1，p. 15）

Table 3 报告的百分数按 $r_{\mathrm{eff}}/H$ 归一化：

| 模型 | 128M 未中心化 | 128M PCA | 2.5B 未中心化 | 2.5B PCA |
|---|---:|---:|---:|---:|
| MHA | 95.4% | 82.4% | 98.9% | 94.0% |
| LRKV $r=64$ | 96.2% | 83.0% | 98.3% | 93.5% |
| MQA | 72.6% | 78.4% | 86.2% | 91.0% |
| MLA | 83.9% | 78.5% | 92.7% | 91.6% |

来源：Table 3，p. 16。未纳入表中带星号的 128M GQA 数字，因为作者明确说明它们是根据 2.5B 趋势估计，而非同样方式得到的实测结果。2.5B GQA 的 PCA 值为 91.7%。

**本次推导：中心化后的上限不是 $H$。** 因为 $G_c\mathbf1=0$，其秩至多为 $H-1$，有效秩同样至多为 $H-1$。所以按作者的除以 $H$ 口径，128M 的上限是 $5/6=83.33\%$，2.5B 的上限是 $17/18=94.44\%$。LRKV 的 83.0% 和 93.5% 已接近各自上限。两个规模之间约十个百分点的差异很大程度来自归一化上限变化，不能直接理解成较小模型丢失更多头功能。

这个上限也改变了对“中心化前后差值”的解释：即使 $H$ 个归一化算子完全正交，未中心化有效秩也会从 $H$ 变为中心化后的 $H-1$。因此 MHA/LRKV 的约 4.8–4.9 个百分点下降不能全部归因于某种共享结构。MQA 中心化后有效秩反而升高，与去掉较强公共方向、剩余方向更均匀的解释相符；它并不表示中心化这个分析操作改变了模型。

![图 14：2.5B 标签下，中心化前后的头有效秩](figures/fig14-diversity.png)

原图 Fig. 14，p. 19。两面板横轴为层索引，纵轴分别为未中心化和中心化的有效秩；右图的上限是 17。LRKV 与 MHA 在多数层相近，MQA 在中心化后更接近其他方法。该图显示 36 层，与 Table 5 的 18 层不一致，因此无法仅凭论文把这些分析检查点和主实验配置严格对应起来。

附录 C 的谱图（Figs. 10–13、16–17）进一步显示，LRKV 与 MHA 的谱较接近，解释较高累计方差需要多个主成分；热图（Figs. 6、18）展示的是对应的成对相似度。这些是同一 Gram 谱结构的不同视图。作者据此解释：共享 K 不会消除独立 Q，MQA 可通过 Q 的差异保留相当多的算子多样性；LRKV 又增加了 KV 残差自由度。

这一指标分析的是参数中潜在的差异，不直接统计具体输入上的注意力行为，也没有包含 V 与输出投影。完整 RoPE 会在 logit 中引入依赖相对位置的旋转，投影后 RMSNorm 还会引入输入相关缩放，因而静态 $A_h$ 不能独自描述整个实际注意力函数。另一个图示问题是 Fig. 9 虽标为 PCA，纵轴曲线接近 6，超过 6 个头中心化后上限 5；不应以它单独确认中心化数值。（App. C，pp. 15–22）

### 4.6 幅值与共享—残差几何

Fig. 8 比较 K 投影的 Frobenius 范数，LRKV 总投影明显大于 MHA，两个面板标出约 4.2 倍和 5.1 倍。作者认为加法分解让共享与残差路径都能在训练中增长，而投影后的 RMSNorm 降低了对整体幅值的敏感性。（Sec. 4.3，p. 9）

![图 8：K 投影的范数](figures/fig08-magnitude.png)

原图 Fig. 8，p. 9。横轴是层号，纵轴是 K 投影范数；灰色为 MHA，其他曲线为 LRKV 的共享、残差与总投影。该图用于解释训练得到的参数状态，不是关于训练稳定性或时延的实验。

论文还报告共享项与残差项约 0.2–0.4 的余弦相似度，把它解释为共同学习出的分工。它们没有被显式施加正交约束，因此“共享基座抓住公共结构，残差补充特殊方向”是合理的机制解释，而不是严格成立的谱分解定理。附录 B 讨论了与截断 SVD 的关系，但没有给出可核实的逼近误差表或最优性定理。

附录 B 所说“任意 $\Delta$ 都能在共享与残差间平移”也需保留秩约束：$U_hB_h^\top-\Delta$ 未必仍为秩 $r$。始终存在的是因子内部的基变换自由度 $U_h\to U_hC$、$B_h\to B_hC^{-\top}$（$C$ 可逆），它不改变残差矩阵。几何解释应建立在允许的变换上。（pp. 14–15）

### 4.7 缓存测量：公式清楚，附录数值尚未对齐

附录 G.1 的“测量”是按指定形状创建缓存张量，通过 `numel()` 与 `element_size()` 计算占用。它度量所定义张量的容量，没有包含实际解码吞吐、临时缓冲、融合内核工作空间或整机峰值显存。（p. 28）

Table 12 声称使用 $r=64$，但其字节值与百分数不一致：

| 规模 | 表中 MHA / LRKV 容量 | 容量相除的比例 | 表中写出的比例 | $r=64$ 按 Eq. (9) 的比例 |
|---|---|---:|---:|---:|
| 128M | 72 / 48 MB | 66.67% | 52.6% | 66.67% |
| 2.5B | 648 / 360 MB | 55.56% | 48.4% | 55.56% |
| 6.3B | 1152 / 612 MB | 53.13% | 45.1% | 53.13% |

来源：Table 12 与 App. G.4，p. 29；重算值为本次分析。可见表中容量之比实际上更接近 $r=64$ 的公式，而括号百分数近似来自更小秩的主配置。App. G.4 把 $1/6+64/128$ 直接写为 0.526，同样是算术错误。

绝对容量也与 Table 5 不能全部对齐。例如按其 2.5B 配置 $N=18,H=18,d_h=128$、$L=2048,b=1$、bfloat16 计算，MHA 应为 324 MiB；Table 12 写 648 MB，相差约两倍，不能用 MB/MiB 单位差异解释。本文可以明确给出的结论是：**分解布局的理论容量公式成立，但所报告的配置、秩和容量测量表尚未形成一致的复现口径。**

## 五：结论——值得保留的思想与实际取舍

LRKV 的贡献在于把跨头冗余写成一种清楚的参数化和缓存布局：公共 K/V 占一份，每个头只为自己的差异支付额外空间。它不改变稠密 softmax 的基本行为；对于线性 K/V，关联计算又能避免完整展开历史残差。残差秩因此同时控制表达能力、缓存容量与额外计算，是一个易于解释的架构参数。

作者的结果表支持“这些训练设置下，适当秩的 LRKV 改善预训练损失和平均下游表现”。消融也支持较大的残差容量通常带来较低 CE；MQA 的 Q 补偿现象则提醒我们，K/V 共享与注意力头功能坍缩不是一回事。

若把这项工作用于实际模型改造，最关键的三件事是：为位置编码和 Q/K 归一化给出与缓存布局一致的精确实现；把训练检查点、残差秩、层数和容量表对齐；在相同缓存预算下比较优化后的 GQA、MLA、LRKV，并测量真实解码时延。这些问题直接决定本文的架构收益能否转化为服务收益。

**我的判断：** 共享基座加头特异低秩残差是有启发性的设计；当前 v3 更适合作为一个值得实现并验证的架构假设。尤其完整 RoPE 的交换问题、缓存表的内部矛盾及 MLA 消融图表冲突，应在把它视为可直接替换现有注意力的方案之前解决。

主要来源：[Low-Rank Key Value Attention，arXiv v3](https://arxiv.org/abs/2601.11471v3)；详细定位已随公式、图表和结论给出。