# Looped Latent Attention：跨循环 KV 压缩精读 - **论文**：Looped Latent Attention: Cross-Loop KV Compression for Looped Transformers - **作者**：James O’Neill、Fergal Reid（Fin AI Research） - **版本**：[arXiv:2607.15456v2](https://arxiv.org/abs/2607.15456v2)，2026-07-24；获取与研读日期：2026-09-20。 - **原始材料**：[本地 PDF](../source/paper.pdf)、同版本作者 TeX `main_minimal.tex`、其实际调用的 `results_space_optimized.tex`、图件及参考文献 `main.bbl`。阅读覆盖正文 Sec. 1–9、附录 A–J；页码均为 PDF 页码，本版本与印刷页码相同。未执行作者训练程序，以下是原文分析与一致性核验，不是独立复现实验。 - **配套**：[英文组会幻灯片](slides.en.pdf) · [可编辑 TeX](slides.en.tex)。 ## 论文总览 循环 Transformer 复用模型权重，但历史 token 在每一轮循环仍留下各自的 K/V，因此参数共享不等于缓存共享。LLA 的贡献是把每个 token、层、头的跨循环 K/V 拼接向量编码成低维潜变量（latent），读取时用循环专属投影恢复 K/V。模型主体冻结，压缩器通过教师激活的 SVD 初始化，再用蒸馏调优。**应保留的是一段低维轨迹，而不只是最后一个循环状态。** 证据最扎实的部分是：循环轴比头轴、层轴更适合压缩；缓存标量数可精确计算；实测能增加单卡可容纳批量。质量结论必须附条件：Huginn 的 32× 近无损主要指教师给定 token 上的保真度；Ouro 的长生成会暴露前缀漂移；最大容量路径当前没有吞吐优势。原文还存在正文、图注与表格不一致，见结果部分的逐项核验。 ## 结构地图 | 原文结构 | 作用 | PDF 定位 | | --- | --- | --- | | 1 Introduction | 权重共享与循环缓存增长的矛盾 | pp.1–2 | | 2 Related Work | 区分 MLA、跨层共享、量化、驱逐与 MELT | p.2 | | 3 Looped Latent Attention | 编解码、压缩率、RoPE、SVD 与蒸馏 | pp.3–4，图1、式(1)–(5) | | 4 Cross-loop structure in the teacher cache | 光谱、收敛轨迹和跨模型机制 | pp.4–6，图2–4 | | 5 Experiments | 广泛任务、等缓存轴比较、规模、消融和 Huginn | pp.6–9，图5–6、表1–3 | | 6 Long-generation stability | on-policy 蒸馏及长上下文检索 | pp.9–11，式(6)–(7)、图7–8、表4 | | 7 Serving and compute | 存储、批量、延迟与吞吐的区别 | pp.11–12，表5 | | 8 Discussion / 9 Conclusion | 适用区间、原生 latent 架构方向 | p.12 | | A Experimental details | 转换训练、样本数、解码器、硬件 | pp.14–15，表6 | | B Additional figures | 2.6B 性能曲线与容量曲线 | pp.15–16，图9–10 | | C Compression Across The Broad Suite | 多任务完整表和冷启动 rank 扫描 | pp.16–17，表7–8 | | D Token-eviction composition table / E On-policy rank Pareto (figure) | 与驱逐组合、额外复评 | p.17，表9、图11 | | F Design-ablation detail | 初始化、rank 配比、损失 | p.18，表10、图12 | | G Full 2.6B commonsense and knowledge suite / H Cross-loop stabilization at 2.6B | 全量选择题与结构诊断 | p.19，表11、图13 | | I Long Context Retrieval Details | 精确检索完整数值 | p.20，表12 | | J Additional serving and discussion details | 预填充、吸收式 attention、RoPE 误差 | pp.20–21，表13–14 | ## 一：动机 ### 1. 省下参数之后，缓存仍然按循环次数增长 设共享堆栈有 $D$ 层，执行 $T$ 个循环。每一循环的隐状态不同，同一个投影矩阵也会输出不同 K/V。对每个历史 token，缓存要保存 $T\times D$ 组层状态。Ouro-1.4B 使用 $D=24,T=4$，缓存规模对应 96 个有效层，而权重只对应共享的 24 层（Sec.1，p.1）。 这主要在长上下文、大 batch 场景成为瓶颈；不能把引言“限制推理的是缓存而不是权重”推广到所有短上下文或小 batch 工作负载。 ### 2. 为什么优先选择循环轴 现有压缩分别减少头/通道、层、精度或历史 token。LLA 的假设是：同一组权重反复变换隐状态，让跨循环轨迹比不同头或不同层的表示更冗余。图2中循环轴归一化有效秩约为 0.61–0.63，首方向约承载 60% 能量；头轴和层轴更接近满秩。这里的光谱诊断是实验证据，不是关于所有共享权重网络的定理（Sec.4，p.5）。 ![图2：循环轴光谱与收敛诊断](figures/fig-02-structure.png) 原图2，PDF p.5。前两个面板比较轴的归一化有效秩与第一方向的能量；后两个面板横轴为循环步，纵轴分别表示与最终状态的余弦相似度和相邻步相对变化。两种证据需分开：**收敛不蕴含低秩**；LLA 需要的是在激活中实际测得的可压缩性。循环数只有 4 的诊断也不意味着整个跨 token 缓存可以被一个标量表示。 ### 3. 为什么不能直接复制最后一轮 若所有循环真的等价，保存最终 K/V 就能免费得到 $T$ 倍压缩。但在表1的 Ouro-1.4B 对照中，最终循环复用的 GSM8K 为 0.000，LLA 4× 为 0.800；该控制的 K/V 相对重建误差分别为 0.35/0.60（p.7）。这支持“不同循环状态仍具有功能差异”。它没有直接否定经过训练的所有单状态方法：MELT 仅在相关工作中讨论，本文没有用同一预算训练并测量 MELT。 ## 二：方法 ### 1. 输入、输出与维度 下表按单个 token、单层、单头定义；K 与 V 分别执行同一种过程。 | 符号 | 意义 / 维度 | | --- | --- | | $T,D,H,d_{\rm head}$ | 循环数、共享层数、头数、头宽度 | | $x_t$ | 第 $t$ 轮的 pre-RoPE K 或 V，宽度 $d_{\rm head}$ | | $x=[x_1;\ldots;x_T]$ | 按循环拼接，宽度 $T d_{\rm head}$ | | $\mu,\mu_t$ | 校准集拼接均值及其第 $t$ 个切片 | | $W_{\rm down}$ | $(T d_{\rm head})\times r$ 的编码矩阵 | | $c$ | 宽度 $r$ 的缓存潜变量 | | $W_{{\rm up},t}$ | $d_{\rm head}\times r$ 的循环专属解码矩阵 | | $r_k,r_v$ | K、V 潜变量宽度，默认 $r_v>r_k$ | 按原文行向量写法，式(2)–(3)为： $$ c=(x-\mu)W_{\rm down},\qquad \hat{x}_t=cW_{{\rm up},t}^{\top}+\mu_t. $$ 编码器把整个轨迹存成坐标，解码器根据当前循环恢复相应状态。这里不是给整个序列共用一个固定大小记忆：**每个历史 token 都有自己的 latent**，缓存仍随序列长度线性增长。循环专属均值和投影是跨 token 共享的固定参数。（Sec.3，pp.3–4。） ![图1：LLA 方法结构](figures/fig-01-architecture.png) 作者原图1，PDF p.3。左侧是循环独立缓存；右侧把跨循环 K/V 编码为两个潜变量，再为指定循环解码。图件来自作者矢量原图，并核对最终 PDF；小字用于查阅，方法以本节公式为准。 ### 2. 精确压缩率算的是什么 原缓存每 token、每层有 $2THd_{\rm head}$ 个标量，LLA 有 $(r_k+r_v)H$ 个，故式(4)： $$ \rho=\frac{2THd_{\rm head}}{(r_k+r_v)H} =\frac{2T d_{\rm head}}{r_k+r_v}. $$ **教学代入**：Ouro-1.4B 的 $T=4,H=16,D=24,d_{\rm head}=128$，取 $(r_k,r_v)=(96,160)$，每层从 16384 个标量降为 4096 个，恰好 4×。bf16 下，全模型每 token 从 768 KiB 降为 192 KiB，与表5一致。 精确的是相同精度下持久缓存的标量比例，不是质量无损、总显存同比例缩小或时间同比例缩短。固定编码器参数、临时重建张量、模型权重和工作空间不包含在该式内。即便 latent 很小，也不减少原模型循环次数。 ### 3. 为什么 pre-RoPE、为什么 K/V 不同秩 同一 token 在所有循环的位置相同，先压缩内容投影，读取时恢复 K 后再施加该位置的 RoPE，可以沿用原模型的全维旋转。主质量结果走这条完整 RoPE 路径；它不要求把主模型改成原生 MLA。 V 的循环变化收敛更慢，需要更多容量。表10同预算比较 $96/160$ 与 $128/128$，前者 held-out KL 为 0.105，后者 0.129。这是默认非对称分配的依据，不构成所有模型最优分配都是固定 3:5 的结论。 ### 4. SVD 初始化与离线蒸馏 先在校准 prompts 上收集拼接激活，对中心化矩阵做 SVD，取前 $r$ 个右奇异向量作为 $W_{\rm down}$，其循环切片初始化解码矩阵。对单个激活样本来说，编码是投影到从许多样本估计的公共子空间，不是为每个 token 现场重新做 SVD。 随后冻结教师，只训练 codec。式(5)： $$ \mathcal L=\mathrm{KL}(p_{\rm teacher}\Vert p_{\rm swap}) +\frac{\lambda_{\rm attn}}{TD}\sum_{t,d}\|a_{t,d}-\hat a_{t,d}\|_2^2, \qquad\lambda_{\rm attn}=0.5. $$ 第一项匹配下一 token 分布，第二项匹配各循环、各层 attention 输出。它优化模型功能保真度，而不只优化 K/V 的欧氏重建误差。SVD 利用几何先验；蒸馏再修正哪些重建误差对模型最重要（Sec.3，p.4）。 ### 5. On-policy：改变用于蒸馏的前缀分布 用 $p_T$ 表示教师、$p_S^\theta$ 表示带 codec 的学生，式(6)–(7)（p.9）可写为： $$ \mathcal L_{\rm off}(\theta)= \mathbb E_{y\sim p_T}\!\left[\frac1{|y|}\sum_t \mathrm{KL}\bigl(p_T(\cdot\mid y_{