# Understanding Transformer from the Perspective of Associative Memory：中文研读笔记

- **作者**：Shu Zhong、Mingyu Xu、Tenglong Ao、Guang Shi（ByteDance Seed）
- **原文**：[arXiv:2505.19488v1](https://arxiv.org/abs/2505.19488v1) · [本地 PDF](../source/paper.pdf)；2025-05-26 提交，本次于 2026-11-06 获取并研读
- **发表**：截至 2026-11-06，未查到**本篇**的正式发表记录。[arXiv 页面](https://arxiv.org/abs/2505.19488v1)仅列预印本；同团队后来发表了题名、作者及实验范围均不同的 [NeurIPS 2025 DeltaFormer 论文](https://proceedings.nips.cc/paper_files/paper/2025/hash/f9f2c4cb372afceb26394e78619367b1-Abstract-Conference.html)，不能把它的会议信息直接记到本篇 v1 上。
- **代码**：本篇附录 E.4 给出作者的玩具任务参考代码，但未查到独立的作者仓库；[Flash Linear Attention 的 DeltaFormer 实现](https://github.com/fla-org/flash-linear-attention/blob/main/fla/layers/deltaformer.py)是第三方公开实现，文件明确链接本篇论文。

## 论文总览

这篇论文把 Transformer 的注意力层和前馈网络（FFN）都解释成“以键找值”的关联记忆。作者沿两条主线展开：**容量**由检索时目标信号与其他键值对的干扰决定，核函数影响这种干扰；**更新**由新信息如何写入、覆盖旧信息决定。在线性记忆的高斯模型下，逆信噪比约为 $N/d_k$；指数核把它降到随 $d_k$ 指数衰减。作者再将 DeltaNet 的“先读出旧值、写入残差”与 Softmax 类核结合，提出 DeltaFormer，并在合成的交换与图可达性任务上展示优势。（Sec. 2–3，PDF pp. 3–21）

**要抓住的区分**：逆信噪比的推导建立在独立高斯键、值及特定检索设定上；DeltaFormer 的状态交换定理使用理想化核函数；实验报告的是有限规模合成任务的学习曲线。这三层证据各自支持不同的结论。

## 结构地图

| 原文章节 | 主要作用 | PDF 页码与定位 |
| --- | --- | --- |
| 1 Introduction | 给出关联记忆视角与容量、更新两条问题线 | pp. 1–3 |
| 2 Associative Memory | 建立 $S$ 的写入与查询表示 | pp. 3–4 |
| 2.1 Memory Capacity | 逆 SNR、线性/指数/ReLU 核、FFN 解释及模块设计讨论 | pp. 4–10；Table 1，p. 7 |
| 2.2 Memory Update | 统一递推、DeltaFormer、表达能力与无限上下文讨论 | pp. 10–17；Table 2，p. 11；Fig. 1，p. 15 |
| 3 Experiments | 多头取舍、交换跟踪、图可达性 | pp. 17–21；Figs. 2–7 |
| 4 Conclusion | 长短期记忆整合和架构设计的开放问题 | pp. 21–22 |
| Appendices A–F | SNR/目标函数推导、分块实现、交换定理及玩具代码 | pp. 26–46；Theorem 1，p. 36；Fig. 8，p. 40 |

## 一：动机——把“记住多少”与“怎样改写”分开

经典外积记忆把在时刻 $i$ 到来的键 $k_i\in\mathbb R^{d_k}$ 与值 $v_i\in\mathbb R^{d_v}$ 写成 $v_i k_i^\top$，累计状态 $S_t\in\mathbb R^{d_v\times d_k}$。查询 $q$ 时计算 $S_tq$。这个形式既像线性注意力的状态，也暴露出两个独立问题：多个键靠近时会互相干扰；仅追加外积时，旧值无法按新目标改写。（Sec. 2，PDF p. 3）

作者将注意力视作**上下文中的短期关联**：当前序列的 KV 对在推理结束后丢弃；将无偏置两层 FFN 的权重视作**训练后保留的长期关联**。这是一种有用的代数视角，并非声称每个神经元都对应一条可独立读取的事实。随后论文分别研究检索核与写入规则，最后把两者组合成 DeltaFormer。（Sec. 1–2.1，PDF pp. 2–7）

## 二：方法——从检索信噪比到 DeltaFormer

### 2.1 基本记忆与检索噪声

把键映射到特征空间 $\phi(k)$，令 $\kappa(x,y)=\phi(x)^\top\phi(y)$，则

$$
S_t=\sum_{j=1}^{t}v_j\phi(k_j)^\top,\qquad
o(q)=S_t\phi(q)=\sum_{j=1}^{t}v_j\kappa(k_j,q).
$$

当 $q=k_i$，目标项是 $v_i\kappa(k_i,k_i)$，其他 $N-1$ 项是干扰。作者定义 $\mathrm{SNR}^{-1}=\mathbb E[\|r\|^2/(c^2\|v_i\|^2)]$，其中 $c=\kappa(k_i,k_i)$，$r=\sum_{j\ne i}v_j\kappa(k_j,k_i)$；**越小越好**。在键、值独立同分布标准高斯，且值长度近似一致、$N$ 足够大的条件下，交叉项期望消失，得到

$$
\mathrm{SNR}^{-1}_{\kappa}\approx
N\frac{\mathbb E_{k_j}[\kappa(k_j,k_i)^2]}{\kappa(k_i,k_i)^2}.
$$

它测的是给定随机存储模型中的检索干扰，不是实际语言模型的通用容量指标。（Sec. 2.1，Eqs. 5–10，PDF pp. 4–5；Appendix A，pp. 26–28）

| 检索核 $\kappa(x,y)$ | 论文给出的逆 SNR 近似 | 读法 |
| --- | --- | --- |
| 线性 $x^\top y$ | $N/d_k$ | 固定维度时，存储对数增加会线性抬高干扰。 |
| ReLU $\max(0,x^\top y)$ | $N/(2d_k)$ | 去掉负相似度，干扰约减半。 |
| 指数 $\exp(x^\top y/\tau)$ | $N\exp[-2(\tau-1)d_k/\tau^2]$，$\tau>1$ | 自匹配相对随机交叉匹配更突出。 |

这里 $N$ 是存储对数、$d_k$ 是键维度、$\tau$ 是温度。取通常的 $\tau=\sqrt{d_k}$ 时，指数核的分母约为 $\exp[2(\sqrt{d_k}-1)]$；要在 $N$ 增大时维持常数量级的逆 SNR，文中的推论是 $d_k$ 随 $\log^2N$ 增长，而线性核需要约随 $N$ 增长。该结论针对上述高斯近似和未归一化的检索分解；真实 Softmax 的分母依赖查询，不能将它直接抹去再声称两个算子完全相同。（Sec. 2.1，PDF pp. 5–6；Appendix A，pp. 27–28）

### 2.2 FFN 也是键值匹配，但“核”只是一部分设计

对无偏置 ReLU FFN，$\mathrm{FFN}(x)=W_V^\top\mathrm{ReLU}(W_Kx)=\sum_{a=1}^{m}v_a\,\mathrm{ReLU}(k_a^\top x)$；$W_K$ 的行充当持久键，$W_V$ 的相应行充当值。这解释了为什么“注意力与 FFN 都可以按键取值”，也说明两者在权重来源、存储寿命和归一化上仍不同。（Sec. 2.1，Eq. 14、Table 1，PDF p. 7）

作者进一步**假设**：FFN 的较模糊检索利于多个信息片段叠加、压缩长期知识，注意力的指数核利于精准定位上下文 token。论文借 SoLU 的既有观察作旁证，但没有在本篇对相同 FFN 预算做核函数消融来验证这一因果解释。多头、稀疏路由和门控是作者提出的跨模块设计方向；Table 1 列出现有差异，后续大多是机制讨论和待检验建议。（Sec. 2.1.1，PDF pp. 7–10）

### 2.3 更新规则：直接相加与残差写入

作者用 $S_t=A_tS_{t-1}B_t+C_t$ 统合多种记忆更新。当 $A_t,B_t$ 对称时，可构造一个使单位步长梯度下降恰好给出该递推的标量目标；这是对**给定更新式的代数解释**，不意味着每个架构实际都在显式优化这个目标。（Sec. 2.2，Eq. 35；Appendix B.1，PDF pp. 10、29）

| 机制 | 写入形式 | 关键差别 |
| --- | --- | --- |
| 线性注意力 | $S_t=S_{t-1}+v_tk_t^\top$ | 不检查同键已有内容；对应的内积目标无下界。 |
| Gated Linear Attention | $S_t=\operatorname{diag}(\lambda_t)S_{t-1}+v_tk_t^\top$ | 以门控衰减旧状态。 |
| DeltaNet | $S_t=S_{t-1}+(v_t-S_{t-1}k_t)k_t^\top$ | 先预测旧值，再写入误差；对应 $\tfrac12\|S_{t-1}k_t-v_t\|^2$。 |
| Softmax 类注意力 | $S_t\approx\tfrac{t-1}{t}S_{t-1}+\tfrac1t v_t\phi(k_t)^\top$ | 只在大 $t$ 且查询分母可按大数定律近似时，是归一化记忆的表示。 |

DeltaNet 的 $-S_{t-1}k_t$ 是**按当前键选择性擦除**，与所有旧内容同乘一个遗忘门不同。若 $\phi(k)$ 换成指数特征，这一步也要在特征空间计算；作者利用核技巧避免显式存储无限维向量。（Sec. 2.2，Table 2，PDF pp. 10–12；Appendices B–C，pp. 29–32）

### 2.4 DeltaFormer：先算增量值，再用核注意力读取

从特征空间的 delta 更新 $S_t=S_{t-1}+[v_t-S_{t-1}\phi(k_t)]\phi(k_t)^\top$ 出发，设 $S_t=\sum_{i\le t}u_i\phi(k_i)^\top$，即可逐步解出

$$
u_t=v_t-\sum_{i<t}\kappa(k_i,k_t)u_i,
\qquad o_t=\sum_{i\le t}\kappa(k_i,q_t)u_i.
$$

直觉是：先用新键找出旧记忆会给出的值，再把差额 $u_t$ 写入。这个等价变换要求写入和读取使用同一个 $\phi$、对应的 $\kappa$，且此处省去了 Softmax 归一化。推广后的 **DeltaFormer** 允许两种核、两个门和写入查询 $w_t$ 分别选择：

$$
u_t=\alpha_t v_t-\beta_t\sum_{i<t}\kappa_1(k_i,w_t)u_i,
\qquad o_t=\sum_{i\le t}\kappa_2(k_i,q_t)u_i.
$$

$\alpha_t,\beta_t$ 决定写入与扣除强度。置 $\beta_t=0,\alpha_t=1$ 并为读取加 Softmax 归一化，可回到普通 Transformer 注意力；令 $w_t=k_t$ 且两个核均线性，则为 DeltaNet。**一般化后 $\kappa_1\ne\kappa_2$ 的模型不再自动满足前述“同一核的精确等价”**，但保留残差写入的设计思想。（Sec. 2.2.1，Eqs. 37–42，PDF pp. 12–14；Appendix C，pp. 31–32）

训练时 $u_t$ 依赖此前所有 $u_i$，朴素计算有 $O(T^2d)$ 乘法与 $O(T)$ 串行步；读取阶段仍是成对核计算。附录将严格下三角相似度矩阵记为 $A$，写成 $U=(I+A)^{-1}V$，每块并行求解、块间顺序推进。块长 $C$ 时作者给出 $O(T/C)$ 个串行块与 $O(T^2d+TCd+TC^2)$ 计算量，体现并行深度和算力开销之间的取舍；这不是已测得的实际吞吐提升。（Sec. 2.2.1，PDF pp. 15–16；Appendix D.3，pp. 33–35）

### 2.5 状态交换定理与无限上下文思辨

附录 Theorem 1 构造 $n$ 个近乎正交的单位键，要求任意两键内积绝对值 $\le\epsilon<1/8$；核函数 $f$ 必须把 $-1,0,1,2$ 各自 $4\epsilon$ 邻域的输入**精确**映回该整数。若模型能在一次交换时生成 $k_t=k_a-k_b,v_t=0$，则对 $k_a,k_b$ 的读取结果互换，其他键对应的值保持不变。论文由此讨论在 $d=O(\log n)$ 的构造下跟踪任意多次交换，并把五元素交换任务与 $NC^1$ 级表达能力联系起来。（Appendix E，PDF pp. 35–40）

这一结论是**存在性构造**：需要特定键、精确核和可实现的投影；Sec. 3 用的“round”按图注是保留两位小数，$\kappa_2$ 则取 Softmax，均不等同于定理中两处共用的理想 $f$。因此实验检验的是可学习性线索，不是定理条件在训练模型中逐项成立的证明。论文把超出 $TC^0$ 说成结论时，还应记住 $TC^0$ 与 $NC^1$ 的严格分离本身是复杂性假设。（Sec. 2.2.1，PDF pp. 14–15；Sec. 3.2，pp. 18–19；Appendix E，p. 36）

关于“无限上下文”，作者先研究固定 $W_k,W_v$ 的**单头 DeltaNet**：若 $W_k$ 方阵可逆、输入协方差正定且分布稳定，期望最小二乘的最优状态为 $S^*=W_vW_k^{-1}$。作者据此推想状态趋近固定映射，新的上下文贡献变弱；多头低秩投影会使最优解依赖协方差。对 Softmax，论文在“大 $t$ 分母近似”下得到单步系数 $1/t$，并推想更新逐渐停滞。这些是特定模型和近似下的机制推演；$1/t\to0$ 本身并不证明累计适应消失，也没有给出真实多层 Transformer 无限上下文的退化定理。（Sec. 2.2.2，PDF pp. 16–17；Appendices B.2、F，pp. 30–31、46）

## 三：实验——问题、对照和指标

| 原文小节 | 检验问题与设置 | 对照与指标 |
| --- | --- | --- |
| 3.1 Multi-head Efficiency Trade-off | GPT-2 small：12 层、隐宽 768；比较 12 头与 1 头，头维随头数改变。 | 线性核注意力与指数核注意力；**两者都改为每头 RMS 归一化**，所以图中的 Softmax 对照并非原始标准归一化实现。指标是验证损失，越低越好。（Fig. 2，PDF pp. 17–18） |
| 3.2 Track the Exchange of Elements | 五个位置的元素依次交换，默认序列长度 16，预测位置 1 的当前元素；输入是 $\binom52=10$ 种交换、输出是 5 类。 | 1/2/4/8 层 Transformer 与不同 $\kappa_1$ 的 DeltaFormer；$\kappa_2$ 保持 Softmax。图示准确率对训练步数，越高越好。（Figs. 3–4，PDF pp. 18–19） |
| 3.2 压力及课程实验 | $d=128$，$n=128/256/512$，交换长度相应为 256/512/1024；另比从 32 逐步延长至 256 与直接用 256 训练。 | 线性核、两位小数 round 核；课程图比较 RoPE 与无位置编码 NoPE。指标为**当前训练长度上的准确率**。（Figs. 5–6，PDF pp. 19–20） |
| 3.3 Reachability of Directed Acyclic Graphs | 32 个节点，按拓扑序生成两类树结构，预测从指定根可达的节点。 | 多层 Transformer 与 1 层 DeltaFormer 的不同 $\kappa_1$；$\kappa_2$ 是 Softmax。指标为准确率，越高越好。（Fig. 7，PDF pp. 20–21） |

## 四：结果——哪些发现由图直接支持

### 4.1 多头数改变的是两种核的不同瓶颈

![图 2：头数与验证损失](figures/fig-heads.png)

Fig. 2（PDF p. 17）的横轴为训练步数，纵轴为验证损失；蓝色对应指数核、红色对应线性核，深浅两条分别是 12 头和 1 头。在固定总隐宽 768 下，线性核从 12 头改成 1 头时曲线更低；指数核则略高。作者解释为线性核更需要每头维度降低检索噪声，而指数核可以把维度分给更多头以提高模式表达能力。这是对 SNR 直觉的**间接支持**：验证损失同时受优化、头间组合等因素影响，图没有直接测量推导中的检索 SNR。（Sec. 3.1，PDF pp. 17–18）

### 4.2 五元素交换：写入核比单纯加深 Transformer 更关键

![图 3：交换任务示意](figures/fig-swap-task.png)

Fig. 3（PDF p. 18）把每次输入表示为两个位置的交换，模型每一步回答位置 1 当前是什么。下面两幅均取原 Fig. 4 的对应面板；**纵轴刻度不同**，应分别读准确率，而不是只比较曲线高度。

| Transformer 对照 | DeltaFormer：两位小数 round 写入核 |
| --- | --- |
| ![图 4a：Transformer](figures/fig-swap-transformer.png) | ![图 4b：DeltaFormer round](figures/fig-swap-round.png) |

在长度 16 的任务中，图上的 1–8 层 Transformer 到 2000 步仍在约 0.4–0.45；round 或线性 $\kappa_1$ 的 DeltaFormer 多数曲线到约 250–300 步已接近 1.0。ReLU、Exp、Softmax 写入核的曲线各异，其中 Softmax 写入核并未出现同样的快速满分，说明**残差写入的相似度函数本身**显著影响优化。此图报告的是训练曲线；论文未在图注中给出独立测试集或多随机种子的区间。（Fig. 4，PDF pp. 18–19）

### 4.3 维度固定后的压力测试与课程学习

![图 5c：d=128、n=512 的写入核比较](figures/fig-stress-512.png)

Fig. 5（PDF p. 19）将键维固定在 128、把状态数从 128 提到 512；在最难的 $n=512$ 面板中，round 曲线约达 0.9 以上，线性曲线徘徊在约 0.25。此组实验采用接近正交的预设键和值，模型主要学习读取，因此它更直接地检验核的区分能力，不能直接外推为端到端语言建模收益。（Sec. 3.2，PDF pp. 19–20）

![图 6b：无位置编码的课程训练](figures/fig-curriculum-nope.png)

Fig. 6（PDF p. 20）把训练长度直接设为 256 与达到 0.99 后逐次从 32 翻倍至 256 比较。在 NoPE 面板，直接训练几乎保持在随机水平约 0.2，课程训练最终接近 1；RoPE 面板的直接训练后来也能上升。作者据跨长度跃迁处的跌落推测 NoPE 的长度泛化较好、RoPE 更易优化。图的纵轴是**当前训练长度**准确率，颜色区段表示长度变化，不是固定长度的统一测试集。（Sec. 3.2，PDF p. 20）

### 4.4 图可达性与附录的多查询结果

| Transformer | DeltaFormer |
| --- | --- |
| ![图 7a：Transformer](figures/fig-dag-transformer.png) | ![图 7b：DeltaFormer](figures/fig-dag-deltaformer.png) |

Fig. 7（PDF p. 21）在 32 节点构造任务上显示，多层 Transformer 到约 5000 步仍在 0.8 左右，而 1 层 DeltaFormer 的 round、ReLU、线性曲线在约 2000 步逼近 1；Exp 与 Softmax 写入核稍低。该图支持文中构造任务上的更易学习，但并不单独区分“模型能够表示”与“优化过程更快”两种原因。（Sec. 3.3，PDF pp. 20–21）

附录 Fig. 8（PDF p. 40）另用头维 3、五元素交换 16 次测试 GQA 类多写入查询。指数核配置随查询数从 1 提到 3、4，训练准确率从约 0.2 提至约 0.9、接近 1；线性核配置保持约 0.6。它为“多个查询组合出更复杂的非线性匹配”提供了局部实验线索，但不替代 Theorem 1 对精确 $f$ 的条件。（Appendix E.2，PDF pp. 40–41）

## 五：结论与研读判断

论文最有用的贡献是把 **核选择影响检索干扰** 与 **delta rule 影响旧值改写** 放到同一关联记忆框架里。指数核的逆 SNR 推导解释了为何精准检索可能以较少键维应付更多记忆项；DeltaFormer 的 $u_t$ 递推则给出一个可计算的“先抵消再写入”构造。有限规模的交换和图任务显示，写入核、课程训练及查询头数都会影响能否学到这个构造。（Sec. 2–3，PDF pp. 4–21）

理解其适用范围时，最关键的三点是：SNR 公式依赖理想随机键值模型；Theorem 1 的精确核与训练实验的核/读取规则有差别；无限上下文的退化论证是从单头稳态解和 Softmax 大 $t$ 近似作出的推想。因而后续最直接的问题是：在端到端语言建模、固定算力和真实长度外推下，残差写入能带来多少收益，以及怎样在保持可训练性的同时逼近定理所需的选择性核。（Sec. 2.2.1–2.2.2、3，PDF pp. 12–21；Appendix E，pp. 35–40）