# Linear Attention via Orthogonal Memory：中文研读笔记

**论文**：Linear Attention via Orthogonal Memory（LAVO）  
**作者**：Jun Zhang、Shuyang Jiang、Jiangtao Feng、Lin Zheng、Lingpeng Kong  
**机构**：Shark-NLP / 香港大学；复旦大学  
**版本**：arXiv:2312.11135v1，2023-12-18；获取与研读日期：2026-10-13  
**原文**：[arXiv v1](https://arxiv.org/abs/2312.11135v1) · [本地 PDF](../source/paper.pdf) · [英文幻灯片](slides.en.pdf)

## 论文总览

LAVO 研究一个具体问题：当自回归模型的历史不断增长时，怎样让每个新 token 查询的记忆大小保持固定，同时保留局部细节和部分全局信息？作者把上下文投影到一组正交方向，对每个方向上的投影取均值，再用这些均值缩放正交基，形成固定大小的记忆。查询仍通过 softmax 读取记忆，但读取对象从所有历史 token 变成了 $r$ 个记忆向量。

完整方法还包含两个关键部分：用局部注意力保留细粒度内容，并在压缩前聚合窗口信息；在局部注意力分数中加入相对位置偏置。固定基数 $r$ 和窗口大小 $w$ 后，作者报告的序列长度复杂度为 $O(n(r+w))$。这里的“线性注意力”来自压缩检索对象，而非去掉 softmax。（§3，PDF pp. 3–5）

最有说服力的语言建模结果是**长度外推时的稳定性**：训练长度为 8,192 时，LAVO 在 8,192 / 12,288 / 16,384 的 PPL 分别为 **19.43 / 19.41 / 19.40**；FlashAttention + RoPE 为 **15.09 / 20.11 / 34.84**。因此，LAVO 在训练长度内有明显精度代价，在更长测试长度下体现优势。另一个独立实验使用 2,048 长度训练，在单张 80GB A100 上测试到 128K，曲线略有改善后趋于平稳。（表 2，PDF p. 6；图 4，PDF p. 8）

理解这篇论文最关键的取舍是：**正交记忆提供了低成本、可递推的全局统计，但平均投影的内容容量很有限；局部注意力承担了大量细节建模工作。**下文将用公式说明这一点，再对照各项实验。

## 结构地图

以下页码均为从 1 开始的 PDF 页码，与本文印刷页码一致。

| 原文章节 | 作用 | 位置 |
|---|---|---|
| 1 Introduction | 从因果语言建模提出效率问题 | pp. 1–2；图 1 |
| 2 Efficiency Degradation of Causal Linear Attention | 区分非因果/因果计算，分析长历史的代价 | pp. 2–3；式 (1)–(2) |
| 3.1 Context Compression via Orthogonal Decomposition | CODE 压缩与在线递推 | pp. 3–4；式 (3)–(4) |
| 3.2 Enhancing LAVO with Context Dissection | 局部窗口与全局记忆结合 | p. 4；图 2 |
| 3.3 Embedded Position Encoding | 局部相对位置偏置 | pp. 4–5；图 3 |
| 3.4 Extension to Cross Attention | 压缩源序列供目标序列读取 | p. 5；式 (5)–(6) |
| 4.1 Self Attention | PG-19、语音合成、摘要 | pp. 6–7；表 2–6 |
| 4.2 Cross Attention | 点云补全、时间序列预测 | p. 8；结果表 7–8 在 p. 7 |
| 4.3 Discussion | 128K 外推与模块消融 | pp. 8–9；图 4、表 9 |
| 5 Related Work | 高效注意力与有界记忆方法的关系 | p. 9 |
| 6 Limitation；7 Conclusions | 短序列效率限制与贡献归纳 | p. 9 |
| Appendix A Efficiency Degradation | RFA 与 LongShort 的计算展开 | p. 15；式 (7)–(11) |
| Appendix B Speedup in Autoregressive Generation | 自回归生成的模拟速度实验 | p. 15；表 10 |
| Appendix C Results on Long-Range Arena | 五项长序列任务结果 | p. 16；表 11 |

## 一：动机——因果计算为什么改变压缩的成本？

### 1.1 非因果模型可以共享一次全局压缩

标准注意力让查询与所有 key 比较，再加权求和 value。忽略投影层和固定特征维度时，长度 $n$ 的全注意力需要 $O(n^2)$ 次位置间交互。

非因果模型可以先把整个上下文压缩成一个较小的表示，再让所有查询共享它。因果模型中，第 $t$ 个位置只能依赖前缀 $\mathbf X_{\le t}$，因此每个位置需要合法的前缀状态。压缩算子是否支持快速增量更新，就成为决定效率的关键。（§2.1，PDF p. 2）

### 1.2 原文中的“效率退化”包含两种不同情况

**历史摘要越来越多，导致渐近复杂度退化。**原文分析 LongShort：若每个固定长度 $l$ 的分块保存一份摘要，后续查询读取越来越多的块摘要，代价与

$$
\sum_{t=1}^{n} O(t/l)=O(n^2/l)
$$

同阶。EVA 的讨论也使用相同逻辑：若块大小固定，块数随 $n$ 增长，$O(nc)$ 中的 $c$ 就不再是常数。（§2.2，PDF p. 3；附录 A，PDF p. 15）

**复杂度仍然线性，但状态维度和实现常数变大。**附录 A 中 RFA 的更新为

$$
\mathbf S_t=\mathbf S_{t-1}+\phi(\mathbf k_t)\otimes\mathbf v_t,
\qquad
\mathbf z_t=\mathbf z_{t-1}+\phi(\mathbf k_t).
$$

它本身仍有线性递推形式；训练时保存各位置的状态会增加开销。因此，不能把论文的动机概括成“所有线性注意力遇到因果掩码都会变成平方复杂度”。LAVO 选择的是一种更小、更简单的上下文统计量，具体效果还要由精度和运行速度共同判断。（附录 A，式 (8)–(9)，PDF p. 15）

## 二：方法——先理解记忆里到底存了什么

### 2.1 符号与数据流

| 符号 | 含义与形状 |
|---|---|
| $n,d$ | 输入长度、特征维度 |
| $\mathbf X\in\mathbb R^{n\times d}$ | 上下文特征；第 $t$ 个向量为 $\mathbf x_t$ |
| $r$ | 正交方向数量，即记忆槽数量 |
| $\mathbf B\in\mathbb R^{r\times d}$ | 每行对应一个基向量 $\mathbf b_i^\top$ |
| $\mathbf H\in\mathbb R^{r\times1}$ | 各方向上的平均投影系数 |
| $\widetilde{\mathbf X}\in\mathbb R^{r\times d}$ | 用系数缩放基向量得到的记忆 |
| $w$ | 局部注意力窗口大小 |
| $\mathbf P\in\mathbb R^{2w-1}$ | 局部相对位置偏置表 |

![图 1：CODE 将上下文投影、平均并重建为正交记忆](figures/fig-01-code.png)

原图 1，PDF p. 2。按从左到右的顺序看：选定正交基 → 投影各个 token → 沿序列取均值 → 用均值缩放基向量 → 查询读取记忆。图中的每个记忆槽对应一个**特征方向**，而非某个历史 token 或时间区间。

### 2.2 CODE：每个正交方向存一个平均系数

原文式 (3) 为

$$
\mathbf H=\frac1n\sum_{t=1}^n\mathbf B\mathbf x_t,
\qquad
\widetilde{\mathbf X}=\mathbf B\odot\mathbf H.
$$

$\odot$ 在这里按行广播：第 $i$ 个记忆向量是 $\widetilde{\mathbf x}_i=H_i\mathbf b_i$。等价地，可以写成

$$
\widetilde{\mathbf X}=\operatorname{diag}(\mathbf H)\mathbf B.
$$

随后查询使用

$$
\operatorname{LAVO}(\mathbf q_t,\mathbf X)
=\operatorname{softmax}\!\left(\mathbf q_t^\top\widetilde{\mathbf X}^{\top}\right)\widetilde{\mathbf X}.
$$

softmax 的维度是 $r$ 个槽；同一个压缩记忆同时充当 key 和 value。与分别保存完整 $\mathbf K,\mathbf V$ 相比，这显著降低了查询对象的数量。（§3.1，PDF pp. 3–4）

**正交性为什么能够保留？**在基向量仍相互正交的条件下，

$$
\langle H_i\mathbf b_i,H_j\mathbf b_j\rangle
=H_iH_j\langle\mathbf b_i,\mathbf b_j\rangle=0,\quad i\ne j.
$$

这是对式 (3) 的直接推导：不同槽的几何方向互不重合。它不意味着这些系数在统计上独立，也不意味着压缩无损。非零的两两正交行还要求 $r\le d$；原文强调的 $r<n$ 则说明压缩后的槽数少于 token 数。论文描述了正交初始化，但没有清楚说明 $\mathbf B$ 是否冻结、若训练又怎样维持正交约束；这是复现这一性质时需要明确的实现选择。

### 2.3 一个决定记忆容量的等价式

以下是本次分析，由原文式 (3) 的线性性直接得到：

$$
\mathbf H=\mathbf B\bar{\mathbf x},
\qquad
\bar{\mathbf x}=\frac1n\sum_t\mathbf x_t.
$$

所以在给定 $\mathbf B$ 时，基本 CODE 的上下文依赖完全通过 $r$ 个平均投影系数进入。$r\times d$ 的记忆矩阵并不拥有 $rd$ 个独立的上下文自由度。扩大 $n$ 不会增加记忆槽数量，也不会自动增加记忆所能区分的历史模式。

一个教学例子：取 $\mathbf B=\mathbf I_2$，比较

$$
\mathbf X^{(a)}=[(2,0),(0,2)],\qquad
\mathbf X^{(b)}=[(1,1),(1,1)].
$$

二者均值都是 $(1,1)$，因此 $\mathbf H=(1,1)^\top$，记忆都是 $\mathbf I_2$；任意相同查询都得到相同的基本 CODE 输出。不同历史在压缩后发生了碰撞。相反方向的投影还可能在平均中抵消。

这个例子解释了局部模块为什么重要。它针对的是**相同输入特征层面的 CODE**：完整网络在压缩前可以用局部注意力和前面各层把顺序、局部组合等信息编码进特征，因此不能据此断言整个 LAVO 模型完全不感知顺序。

### 2.4 因果递推：状态大小固定，新信息权重逐渐减小

对前缀长度 $t$，原文式 (4) 写成

$$
\mathbf H_t=\frac{(t-1)\mathbf H_{t-1}+\mathbf B\mathbf x_t}{t},
\qquad
\widetilde{\mathbf X}_{\le t}=\operatorname{diag}(\mathbf H_t)\mathbf B,
$$

$$
\mathbf F_{\mathrm{global},t}
=\operatorname{softmax}\!\left(\mathbf q_t^\top\widetilde{\mathbf X}_{\le t}^{\top}\right)
\widetilde{\mathbf X}_{\le t}.
$$

它是普通的在线均值：新 token 贡献 $1/t$，此前均值贡献 $(t-1)/t$。每步只需更新 $r$ 个系数，不需要重新扫描历史。（§3.1，PDF p. 4）

下面是基本 CODE 的教学伪代码，省略多头、投影层与局部模块：

```text
H = zeros(r)
for t = 1, 2, ...:
    H = H + (B @ x[t] - H) / t
    M = diag(H) @ B
    global_output[t] = softmax(q[t]^T @ M^T) @ M
```

这一更新没有内容相关的写入门或遗忘门。持续累积的均值适合维护稳定的全局背景，新出现但罕见的事件在极长前缀中占比会很小；局部分支则为近期细节保留更直接的通路。这是公式所揭示的机制取舍。

### 2.5 Context dissection：既保留局部，也改进全局压缩的输入

![图 2：窗口内聚合后再形成全局摘要](figures/fig-02-context.png)

原图 2，PDF p. 4。每个括号表示一个窗口，箭头表示窗口内部交互；当前查询位于最右侧。

§3.2 包含两项作用，不能只理解为“在 CODE 旁边加一个局部注意力”：

1. **局部分支。**按 $w$ 划分窗口；为避免窗口首部失去紧邻历史，向前扩展 $w$ 个 token，再用掩码限制每个位置读取的局部范围，因果设置中不读未来。
2. **全局分支。**先在历史窗口内做局部注意力，聚合窗口信息，再压缩这些特征。作者解释，这能降低直接压缩单个 token 时的特征方差。

两路结果取简单平均：

$$
\mathbf F_t=\frac{\mathbf F_{\mathrm{local},t}+\mathbf F_{\mathrm{global},t}}2.
$$

因此，局部分支负责细粒度关系，经过局部聚合的全局记忆负责背景统计。原文式 (4) 展示的是基本 CODE 的逐 token 递推；加入分窗后，压缩输入和历史窗口划分也必须按 §3.2 处理，不能把前面的教学伪代码直接当作完整实现。（§3.2，PDF p. 4）

### 2.6 Embedded position encoding：将相对距离限制在局部范围

![图 3：在局部注意力分数中加入相对位置偏置](figures/fig-03-position.png)

原图 3，PDF p. 4。矩阵格子的数表示 $j-i$ 的相对偏移；右侧偏置表按距离索引。

对局部查询位置 $i$ 和 key 位置 $j$，原文定义

$$
A_{i,j}\leftarrow A_{i,j}+P_{j-i+w-1},
\qquad \mathbf P\in\mathbb R^{2w-1}.
$$

这里使用从 0 开始的偏置表索引。即使整段输入更长，局部相对距离仍在训练时见过的有限范围内。这提供了一个解释长度外推稳定性的机制，但远距离 token 之间的精确相对位置并没有直接保存在该偏置表中。

原文给出的时间代价为 $O(nw)$，位置参数空间为 $O(w)$。后一个量描述的是偏置表，不能解释成整层训练激活只需 $O(w)$ 内存；局部注意力分数等中间量仍随序列长度增长。（§3.3，PDF pp. 4–5）

### 2.7 Cross attention：只压缩源序列

源序列 $\mathbf X\in\mathbb R^{n\times d}$ 与目标序列 $\mathbf Y\in\mathbb R^{m\times d}$ 没有天然的局部位置对齐。LAVO 因而去掉局部分支，让目标查询直接读取源记忆：

$$
\mathbf Q=\mathbf YW_q,
\qquad \widetilde{\mathbf X}=\operatorname{CODE}(\mathbf X),
$$

$$
\operatorname{LAVO}(\mathbf Q,\mathbf X)
=\operatorname{softmax}(\mathbf Q\widetilde{\mathbf X}^{\top})\widetilde{\mathbf X}.
$$

按原文行向量的形状约定，这里将式 (5) 的 $W_q\mathbf Y$ 写成维度一致的 $\mathbf YW_q$。压缩源序列的代价对应 $nr$，目标查询读取记忆对应 $mr$；原文这两个分项的文字次序颠倒了，但总复杂度 $O(r(n+m))$ 不变。（§3.4，式 (5)–(6)，PDF p. 5）

### 2.8 “线性时间”和“固定记忆”的准确含义

| 环节 | 保留特征维度后的主要计算量 |
|---|---|
| 投影到 $r$ 个基并聚合 | $O(nrd)$ |
| 所有查询读取 $r$ 个记忆槽 | $O(nrd)$ |
| 宽度 $w$ 的局部注意力 | $O(nwd)$ |
| 自注意力总计 | $O(nd(r+w))$ |
| 交叉注意力压缩与读取 | $O(rd(n+m))$ |

表中省略了通常还存在的线性投影层，例如 $O(nd^2)$。论文将 $d$ 视为固定，故写为 $O(n(r+w))$。

在线推理时，上下文相关的基本统计量 $\mathbf H_t$ 只需 $O(r)$ 空间；基矩阵及显式记忆为 $O(rd)$，局部缓存为 $O(wd)$，这些量不随历史长度增长。训练时还需要各位置的中间状态和反向传播激活，整体显存仍可能随 $n$ 线性增长。并行训练可以从前缀和得到所有 $\mathbf H_t$；这是一种由公式导出的计算方式，原文没有进一步给出专用并行内核的实现分析。

## 三：实验——比较的对象与指标

### 3.1 对照模型分别回答什么问题？

| 对照 | 在实验中的作用 |
|---|---|
| Vanilla / FlashAttention | 全注意力质量参照；FlashAttention 还检验 IO 优化能否胜过较低理论复杂度 |
| FlashAttention + RoPE | 检验使用相对位置机制后，全注意力的长度外推表现 |
| Local attention | 检验局部信息本身的作用，以及增加全局压缩后是否有收益 |
| ABC | 有界记忆的直接参照；记忆槽不被要求两两正交 |
| LongShort | 局部与压缩信息结合的参照；其因果与非因果复杂度不同 |
| S4D | 状态空间序列模型参照，表中采用的训练计算为 $O(n\log n)$ |
| Performer、cosFormer、LARA、Nyströmformer、ProbSparse | 不同核化、近似或稀疏策略的参照，参与其支持的注意力模式 |

作者在各任务骨干中替换注意力模块，并沿用 CAB 的比较设置。模型参数量并不完全相同，例如语言建模中 LAVO 为 122.91M，LongShort 为 136.61M，S4D 为 155.41M。（§4；表 1–2，PDF pp. 5–6）

### 3.2 任务配置与指标

| 任务 | 数据、骨干与主要配置 | 指标 |
|---|---|---|
| 语言建模 | PG-19；训练/验证/测试为 28,602/50/100 本书；12 层 GPT-2 骨干，隐藏维 768，12 个头；GPT-2 BPE 词表 50,257；训练长度 8,192 | token 级 PPL，越低越好 |
| 文本到语音 | LJSpeech，平均序列长度 559；Transformer-TTS；分别测试因果/非因果自注意力 | MCD、MSD：声学特征失真，越低越好 |
| 摘要 | Multi-News；6 层编码器、6 层解码器；输入上限 4,096，摘要上限 400 | ROUGE-1/2/L，越高越好 |
| 点云补全 | PCN、PoinTr；输入下采样至 1,536 点，解码器 3,584 个 point proxies；替换交叉注意力 | CDL1、CDL2 越低越好；F-score 越高越好 |
| 时间序列预测 | Informer；Weather 输入/输出 720/720；ETT 为 336/720 | MSE、MAE，越低越好 |
| LRA | 五项长序列任务；LAVO 的 $r=32,w=256$ | 各任务得分及平均值，越高越好 |

理解这些指标时，PPL 是平均 token 负对数似然的指数，衡量模型给真实后续 token 分配的概率；ROUGE-1/2 比较词元及相邻二元组重合，ROUGE-L 基于最长公共子序列。点云的 Chamfer Distance 衡量两个点集之间的最近邻距离，F-score 综合点匹配的精确率与召回率；MSE 对预测误差平方后平均，MAE 对绝对误差平均。这些指标分别反映预测质量、内容重合、几何匹配和数值误差。

语言建模采用 batch size 16、125K 步、10K warmup、峰值学习率 $5\times10^{-4}$、AdamW；每批 $2^{17}$ 个 token。表 1 给出 LAVO 的 $r=64$，时间序列任务则为 $r=16$。其中窗口大小一行明确标为 local/LongShort，不能直接把该行当成所有 LAVO 实验的窗口配置。（表 1，PDF p. 5）

时间序列的最终分数是单变量与多变量结果的平均；ETT 还平均 ETT-h1、ETT-h2、ETT-m1 三个子数据集。这个统计口径决定了表 8 的分数不能被当成其中某个单独数据集、单一设置的结果。（§4.2，PDF p. 8）

## 四：结果——按原文实验顺序解读

### 4.1 语言建模：训练长度内损失精度，外推更稳定

| 模型 | PPL ↓，8,192 | PPL ↓，12,288 | PPL ↓，16,384 |
|---|---:|---:|---:|
| FlashAttention | 16.02 | 40.33 | 94.34 |
| FlashAttention + RoPE | **15.09** | 20.11 | 34.84 |
| LongShort | 15.52 | **19.17** | 26.06 |
| S4D | 15.78 | 51.96 | — |
| ABC | 31.53 | 86.78 | 147.43 |
| Local | 19.73 | 21.24 | 22.16 |
| LAVO | 19.43 | 19.41 | **19.40** |

来源：表 2，PDF p. 6；所有模型在 8,192 长度训练。LAVO 在同为线性复杂度的 ABC、local 中表现最好，但 8K 时明显落后于全注意力、LongShort 和 S4D。12K 时 LongShort 仍略好于 LAVO。LAVO 的 19.43 → 19.40 只下降了 0.03，最准确的表述是“在更长上下文中保持稳定”，而非“大幅提升语言建模质量”。

主表的效率数据如下，速度均以同长度 vanilla 为 1：

| 模型 | 8K 速度倍数 ↑ | 16K 速度倍数 ↑ | 16K 显存（MB）↓ |
|---|---:|---:|---:|
| Vanilla | 1.00× | 1.00× | 25,747 |
| FlashAttention | **14.00×** | 18.70× | **9,133** |
| FlashAttention + RoPE | 12.40× | 16.96× | 9,193 |
| LongShort | 3.50× | 5.70× | 10,929 |
| ABC | 2.20× | 4.10× | 12,669 |
| Local | 5.00× | 9.10× | 11,909 |
| LAVO | 11.49× | **22.00×** | 9,337 |

来源：表 2，PDF p. 6，测量硬件为 1×80GB A100。16K 时 LAVO 的表内速度约为 FlashAttention 的 $22/18.7\approx1.18$ 倍，显存则比它稍高；8K 时 FlashAttention 更快。由此可见，较低渐近复杂度在较长序列才更容易体现为运行优势。

原文同页正文把 16K 加速写成 **20.3×**，表 2 则为 **22.0×**；本笔记采用表中数值。主表未充分交代速度计时范围，因此不把它换称为端到端训练吞吐或逐 token 生成吞吐。表注称 vanilla 在 LM 任务中 OOM，但仍列出了速度/显存基准，表明两类结果也不能直接混为同一次完整训练测量。

### 4.2 文本到语音：因果模式最优，非因果模式次于 LongShort

| 注意力模式 | 模型 | MCD ↓ | MSD ↓ |
|---|---|---:|---:|
| 因果 | Vanilla | 4.095 | 2.199 |
| 因果 | S4D | 4.030 | 2.189 |
| 因果 | LAVO | **4.010** | **2.179** |
| 非因果 | LongShort | **3.913** | **2.136** |
| 非因果 | Local | 4.015 | 2.164 |
| 非因果 | LAVO | 3.964 | 2.155 |

来源：表 3、5，PDF p. 7。因果 TTS 中 LAVO 的 MCD 比 vanilla 低 0.085，两个指标均为表中最佳；非因果 TTS 中则为第二。后者明确替换编码器的自注意力。结果说明方法不只适用于文本语言建模，但其最突出的优势仍取决于注意力模式和任务。

### 4.3 摘要：非因果收益很大，其中大部分已由局部注意力获得

| 模式 | 模型 | R-1 ↑ | R-2 ↑ | R-L ↑ |
|---|---|---:|---:|---:|
| 因果 | Vanilla | 34.61 | 6.35 | 31.66 |
| 因果 | S4D | **34.90** | **6.65** | **31.98** |
| 因果 | Local | 33.50 | 6.27 | 30.74 |
| 因果 | LAVO | 34.16 | 6.16 | 31.16 |
| 非因果 | Vanilla | 34.61 | 6.35 | 31.66 |
| 非因果 | Local | 38.50 | 10.54 | 35.39 |
| 非因果 | LAVO | **39.01** | **10.77** | **35.70** |

来源：表 4、6，PDF p. 7。非因果模式下，LAVO 相对 vanilla 提高 **4.40 / 4.42 / 4.04 个 ROUGE 分值**；相对 local 则只提高 **0.51 / 0.23 / 0.31**。这使“局部信息本身很重要”成为理解收益来源的必要背景。

因果模式中，LAVO 的 R-1、R-L 是表内 $O(n)$ 方法中最佳，但 R-2 为 **6.16，低于 local 的 6.27**。原表将 LAVO 的 R-2 也标为线性方法最佳，正文作了概括性最优描述；按实际数值不能得出三项都最优的结论。

### 4.4 交叉注意力：固定源记忆在两种异构任务中有效

**点云补全。**表 7 的全部比较如下：

| 模型 | CDL1 ↓ | CDL2 ↓ | F-score ↑ |
|---|---:|---:|---:|
| Vanilla | 7.425 | 0.231 | 0.779 |
| ABC | 7.344 | 0.227 | 0.784 |
| Performer | 7.368 | 0.235 | 0.783 |
| cosFormer | 8.673 | 0.298 | 0.704 |
| LAVO | **7.200** | **0.216** | **0.794** |

来源：表 7，PDF p. 7；配置说明在 p. 8。LAVO 三项均最佳。相对 vanilla，CDL1 下降 0.225，CDL2 下降 0.015，F-score 增加 0.015。这里保留原表的 Chamfer 数值尺度，不自行添加原文未标注的缩放单位。

**时间序列预测。**

| 模型 | ETT MSE ↓ | ETT MAE ↓ | Weather MSE ↓ | Weather MAE ↓ |
|---|---:|---:|---:|---:|
| Vanilla | 1.138 | 0.775 | 0.478 | 0.508 |
| ABC | 1.147 | 0.809 | 0.489 | 0.520 |
| Performer | 1.254 | 0.819 | 0.463 | 0.508 |
| cosFormer | 1.219 | 0.823 | 0.474 | 0.509 |
| LAVO | **1.123** | **0.765** | **0.444** | **0.492** |

来源：表 8，PDF p. 7；平均方式见 §4.2，PDF p. 8。相对 vanilla，ETT MSE 下降 0.015（约 1.32%），Weather MSE 下降 0.034（约 7.11%）。这些是跨设置的平均改善。

这两组实验使用去掉局部分支的 cross-attention 形式，因而支持了 CODE 作为独立源序列压缩机制的可用性。不过比较并未单独控制“正交”与其他同容量记忆设计，不能将全部优势归因于正交性一个因素。

### 4.5 128K 实验：较短训练后仍能稳定处理长输入

![图 4：训练长度 2K，测试到 128K 的困惑度](figures/fig-04-unbounded.png)

原图 4，PDF p. 8。横轴为上下文长度，每个刻度翻倍；纵轴为 PPL，越低越好。蓝、橙、绿分别对应 $w=16,32,64$。

这一组使用**独立的 2,048 长度训练配置**，batch size 为 64，测试长度由 2K 增至 128K；不能与表 2 的 8K 训练混用。三个窗口配置的 PPL 均随长度增加略降，约 16K 后变化很小；$w=64$ 始终最低。图中窗口大小带来的差别比继续拉长上下文带来的改善更显著。

作者报告：在其测试实现中，LAVO 是未做 IO 优化、仍能在单张 80GB A100 上处理 128K 的方法。图 4 展示的是 LAVO 的窗口比较，没有给出所有基线在 128K 的逐项数值。实验支持有限状态模型的长度扩展能力和 PPL 稳定性；由于评价的是整段语言建模 PPL，它没有直接测量 128K 距离上的精确事实检索能力。结合平均投影机制，这是判断“unbounded”含义时最重要的区别。

### 4.6 消融：分窗聚合的收益大于位置偏置，但配置说明有冲突

| 表 9 的配置 | R-1 ↑ | R-2 ↑ | R-L ↑ |
|---|---:|---:|---:|
| LAVO | **39.19** | **10.82** | **35.95** |
| 去掉 embedded position encoding（EPE） | 39.01 | 10.77 | 35.70 |
| 再去掉 context dissection（CD） | 35.29 | 6.80 | 32.29 |

来源：表 9，PDF p. 8；解释在 §4.3，PDF p. 9。去掉 EPE 的差值为 −0.18 / −0.05 / −0.25；在已去掉 EPE 的基础上再去掉 CD，差值为 −3.72 / −3.97 / −3.41。后者是**条件消融**，不能当作 EPE 与 CD 完全独立的贡献分解。

原文明确说最后一行仍保留 local feature，所以它强调的是分窗聚合及其与全局压缩的结合，而非仅仅“有没有局部注意力”。

这里存在实质性的报告冲突：表题是 **Summarization**，指标也是 ROUGE；正文却说沿用 unbounded language modeling 设置并在 2,048 长度测试。按表题和指标，本笔记将其作为摘要结果解读，无法据正文确定完整训练协议。此外，表 6 的主结果恰好等于表 9 的“去掉 EPE”一行，配置标签未解释清楚，因此不把 39.19 和 39.01 当成同一明确配置的可直接替换数值。

### 4.7 附录 B：生成模拟速度要与主表分开

附录使用虚拟序列，依次计算从长度 1 到目标长度的前缀，模拟自回归生成。原文说明速度受增量解码等实现方式影响；由于未找到所需官方推理实现，未纳入 S4D。

| 模型 | 8,192 速度倍数 ↑ | 12,288 ↑ | 16,384 ↑ |
|---|---:|---:|---:|
| Vanilla | 1.00 | 1.00 | 1.00 |
| ABC | 1.18 | 2.29 | 3.30 |
| Local | 3.35 | 6.86 | 10.34 |
| LongShort | 0.70 | 1.71 | 2.94 |
| FlashAttention | **7.94** | **13.10** | 15.01 |
| FlashAttention + RoPE | 5.73 | 10.28 | 12.66 |
| LAVO | 3.71 | 10.80 | **20.81** |

来源：表 10，PDF p. 15。16K 时 LAVO 为 FlashAttention 的约 $20.81/15.01=1.39$ 倍；8K 时则明显更慢。**20.81× 属于这组生成模拟；22.0× 属于主表 2**，两者不应混写成一个速度结果。这里也没有给出端到端服务吞吐或每 token 延迟。

### 4.8 附录 C：LRA 平均分领先，但并非所有任务最优

LAVO 的 $r=32,w=256$，五项分数为：

| Text ↑ | ListOps ↑ | Retrieval ↑ | Pathfinder ↑ | Image ↑ | AVG ↑ |
|---:|---:|---:|---:|---:|---:|
| **65.28** | **40.57** | 80.17 | **72.14** | 40.55 | **59.74** |

来源：表 11，PDF p. 16；粗体表示该表最佳。平均分比 vanilla 的 57.37 高 **2.37 分**，比 Skyformer 的 59.39 高 **0.35 分**。Retrieval 最佳为 Skyformer 的 82.06，Image 最佳为 Reformer 的 48.87。LAVO 因而是该组基线中平均表现最好、优势集中在三项任务的方案。

## 五：结论——这篇论文最值得保留的认识

**第一，固定大小的可更新统计量，是避免历史检索成本持续增长的一条直接路线。**LAVO 用在线均值更新正交方向上的系数，使每次全局读取的槽数固定。它展示了保留 softmax、同时获得关于序列长度的线性复杂度的方法。

**第二，正交性和信息保留能力需要分别理解。**正交方向减少槽间几何重合，但基本 CODE 仍只保留平均投影；不同历史会发生压缩碰撞，罕见远处信息容易被稀释。原文关于提高信息丰富度的解释没有配套的熵最优证明，也没有单独的同容量正交/非正交消融。其价值应结合完整模型结果判断。

**第三，完整方法的有效性来自全局统计与局部结构的配合。**局部注意力既输出近期细节，也改善压缩输入；局部相对位置偏置保持有限距离范围。摘要结果和消融都表明局部结构的重要性，而交叉注意力实验则说明单独的源压缩也能有用。

**第四，论文最强的长文本证据是长度外推稳定，而训练长度内的最佳精度仍属于其他方案。**8K 训练下的 19.43 → 19.40，以及 2K 训练后测试到 128K 的平稳曲线，适合支撑“可扩展、稳定”的结论。固定记忆造成的精度取舍、约 123M 参数的验证规模，以及消融配置不一致，会影响将这些结果推广到更大模型或精确长程检索任务时的判断。

如果继续研究，一个有针对性的方向是比较同状态预算下的**均值写入、内容选择写入与正交约束**：在局部窗口和位置编码保持一致时，观察哪些设计真正提升远处稀有信息的保留。它直接针对 LAVO 的核心瓶颈，也能帮助分离记忆几何与更新规则的作用。