# Learning to Remember, Learn, and Forget in Attention-Based Models：中文研读笔记

- **方法**：Palimpsa（贝叶斯元可塑性注意力）。
- **作者**：Djohan Bonnet、Jamie Lohoff、Jan Finkbeiner、Elidona Shiqerukaj、Emre Neftci。
- **原文版本**：[arXiv:2602.09075v4](https://arxiv.org/abs/2602.09075v4)，2026-06-03 修订；获取与研读日期：2026-10-30。
- **原文**：[在线 PDF](https://arxiv.org/pdf/2602.09075v4) · [本地 PDF](../source/paper.pdf)。以下页码均为从 1 开始的 PDF 页码。
- **发表**：已发表于 **ICML 2026**，PMLR 306:9129–9151；[正式论文集页面](https://proceedings.mlr.press/v306/bonnet26a.html)。
- **代码**：[作者官方公开实现 djo1996/Palimpsa](https://github.com/djo1996/Palimpsa)，含模型、训练与评测代码；发表与代码状态查证于 2026-10-30。
- **配套汇报**：[英文 Beamer PDF](slides.en.pdf) · [可编辑 TeX](slides.en.tex)。

## 论文总览

Palimpsa 研究的是固定大小循环记忆如何在一段上下文中不断接收新信息，又不把有用的旧信息覆盖掉。作者把注意力状态视为在线线性回归的参数，并为每个状态元素额外维护一个“重要性”估计：重要性高意味着不确定性低、应当较难修改；重要性低的元素可以更快接纳新输入。这种随历史变化的可塑性称为**元可塑性（metaplasticity）**。

仅仅保护旧记忆会造成另一种失败：记忆越来越确信自身，最终几乎学不进新内容。Palimpsa 因此同时衰减旧证据，使重要性逐渐回到先验水平。其实际递推只需两个固定尺寸的矩阵，分别保存记忆内容和重要性，并可用分块关联扫描训练。这里的“固定”是相对序列长度而言；与只有内容矩阵的模型相比，重要性矩阵确实增加了状态存储。

论文的另一条主线是迁移：当重要性近似保持在先验值时，Palimpsa 的内容更新退化为 Mamba2 形式。作者利用这一连续关系，先用速度更快的普通循环模型预训练，再用较少 token 引入元可塑性。760M 规模下，Palimpsa-D 的七项任务平均准确率为 **52.27%**，比 Gated Deltanet 的 51.50% 高 **0.77 个百分点**；2.7B 模型只替换 64 层中的 8 层，在相同后续训练流程下，平均准确率提高 **0.84 个百分点**，LongBench 总分提高 **1.1 分**。这些收益伴随更慢的注意力内核，而且在短上下文变量追踪、词频聚合等任务上存在退步。（Sec. 2–3，PDF pp. 4–9，Tables 2–3；Appendix A.11–A.13）

## 结构地图

| 原文章节 | 论证作用 | PDF 页码与关键证据 |
| --- | --- | --- |
| 1 Introduction；1.1 Related Work | 将上下文学习视为持续学习，提出遗忘与过度固化两种失败 | pp. 1–3；Fig. 1 p. 2 |
| 2.1 Background: Self-Attention Heads and Metaplastic Memory | 从 KV 缓存转向固定矩阵记忆，说明写入干扰 | pp. 3–4 |
| 2.2 Derivation of Palimpsa | 高斯回归、折扣后验、自由能与双状态递推 | pp. 4–5；Eqs. (1)–(5) |
| 2.3 Bayesian Inference at Test-Time as a General Framework of Gated Models | 比较后验近似与输入门，连接既有循环模型 | pp. 5–7；Table 1 p. 7 |
| 2.4 Fine-tuning Mamba2 with Metaplasticity | 从非元可塑模型连续过渡到 Palimpsa | p. 6 |
| 3.1 Synthetic Experiments: MQAR；3.2 Palimpsa's Learning Dynamics on MQAR | 测试关联记忆容量，观察重要性与记忆窗口如何形成 | pp. 6–7；Figs. 2–3 |
| 3.3 Language Tasks: Fineweb-Edu and Commonsense Reasoning | 匹配 token 预算的语言任务比较 | pp. 7–8；Table 2 p. 8，Fig. 4 p. 9 |
| 3.4 Large Scale and Long Context Experiments；4 Conclusion | 2.7B 层替换实验与长上下文取舍 | pp. 8–9；Table 3 |
| A.1–A.7 | 两种架构、贝叶斯遗忘、完整高斯解及近似 | pp. 14–19；Fig. 5，Eqs. (6)–(34) |
| A.8–A.11 | 实验配置、2.7B 训练流程、完整 RULER 结果 | pp. 19–21；Tables 4–6，Fig. 6 |
| A.12–A.13 | 分块扫描、寄存器瓶颈与循环推理速度 | pp. 21–23；Fig. 7 |

## 一：动机——固定记忆需要同时学会保护与释放

### 1.1 干扰从哪里来

将 softmax 去掉后，最简单的线性注意力可以用固定矩阵表示历史：

$$
\mathbf S_t=\mathbf S_{t-1}+\mathbf v_t\mathbf k_t^\top,
\qquad \mathbf y_t=\mathbf S_t\mathbf q_t.
$$

如果用旧键 $\mathbf k_a$ 查询，新写入对输出增加的项是 $\mathbf v_t(\mathbf k_t^\top\mathbf k_a)$。因此，只要键之间不正交，新信息就会干扰旧关联。这不是必须把矩阵的某个槽位直接覆盖才会发生；许多关联叠加到同一有限维空间，也会造成回忆错误。Delta rule 用预测残差修正写入，能减轻干扰，但仍需要决定新证据应当多大程度改变历史状态。（Sec. 2.1，PDF pp. 3–4）

作者区分了两种失败：

- **灾难性遗忘（catastrophic forgetting）**：新输入改变状态过快，旧关联丢失。
- **灾难性记忆固化（catastrophic remembering）**：历史证据累积后，状态过于确信自身，可塑性接近零，后续信息写不进去。

输入依赖的门只回答“这个 token 要写多少”。元可塑性还回答“经历了先前上下文后，这个具体状态元素现在有多容易被改动”。后者需要保存历史相关的辅助状态。

![图 1：Palimpsa 的问题设定与注意力块](figures/fig-01.png)

原文 Fig. 1，PDF p. 2。左上用句子示意遗忘、固化及带遗忘的元可塑性；左下画的是状态分布如何在新证据作用下改变；右侧的 Palimpsa 层显式携带均值和重要性两类状态。这是方法示意图，句子着色不是定量实验。

### 1.2 这里的“学习”发生在哪一层

每个 token 的键、值、输入门和遗忘门由训练好的投影网络产生。推理时，模型外层权重保持固定，而上下文内的记忆均值与重要性持续更新。训练时，语言建模或 MQAR 损失再通过整个递推过程反向传播，学习怎样产生这些投影和门。因而，“贝叶斯在线学习”是模型前向传播中的内层状态更新，外层优化仍是通常的神经网络训练。（Sec. 1–2，PDF pp. 1–6）

## 二：方法——从折扣贝叶斯回归到双状态注意力

### 2.1 符号与输入输出

以下按单个注意力头书写。

| 符号 | 形状或范围 | 含义 |
| --- | --- | --- |
| $\mathbf k_t,\mathbf q_t$ | $\mathbb R^{d_k}$ | 当前键、查询 |
| $\mathbf v_t$ | $\mathbb R^{d_v}$ | 要存入的值 |
| $\mathbf S,\boldsymbol\mu_t$ | $\mathbb R^{d_v\times d_k}$ | 随机记忆参数、其均值 |
| $\boldsymbol\beta_t$ | 非负的 $d_v$ 维向量 | 当前观测各值通道的权重/似然精度 |
| $\boldsymbol\Sigma_{t,i}$ | $d_k\times d_k$ | 第 $i$ 行记忆的完整协方差 |
| $\mathbf I_t$ | $d_v\times d_k$，正值 | 实现中逐元素的精度，即逆方差 |
| $\mathbf I_{prior}$ | 正值，可按状态广播 | 先验不确定性的基准，遗忘时回归该值 |
| $\alpha_t=e^{-Ad_t}$ | $(0,1]$，每头标量门 | 保留历史证据的比例 |
| $N_t=(1-\alpha_t)^{-1}$ | $[1,\infty]$ | 由门定义的有效记忆窗口 |

$\mathbf I_t$ 虽然按矩阵存储，但它不是完整的 $d_k\times d_k$ 精度矩阵：每一行存的是对应精度矩阵的对角线。$\boldsymbol\beta_t$ 衡量当前输入，而 $\mathbf I_t$ 累积历史；不能将两者都理解成同一个输入门。

### 2.2 内层目标是加权线性回归

论文为每个值通道建立高斯观测模型，其与记忆状态有关的负对数似然为

$$
-\log p(\mathbf v_t\mid\mathbf k_t,\boldsymbol\beta_t,\mathbf S)
=\frac12\sum_{i=1}^{d_v}\beta_{t,i}
(\mathbf S_i^\top\mathbf k_t-v_{t,i})^2+\text{常数}.
$$

$\mathbf S_i$ 表示第 $i$ 行的列向量写法。大的 $\beta_{t,i}$ 使当前样本在该值通道上更有分量。这里的高斯假设是内层回归模型；它不要求输入语言 token 本身服从高斯分布。

普通贝叶斯更新用历史后验作为新先验。输出读取后验均值：

$$
\mathbf y_t=\mathbb E[\mathbf S\mathbf q_t]
=\boldsymbol\mu_t\mathbf q_t.
$$

后验方差在本论文中主要用于控制写入速率，没有作为独立的语言输出不确定性接口使用。（Sec. 2.2，PDF p. 4，Eqs. (1)–(2)）

### 2.3 遗忘是对旧证据降权，同时补回先验

严格维护最后 $N$ 个样本的后验，必须除去最老样本的似然；在线固定记忆无法重新访问那个样本。作者改用历史证据的几何折扣：

$$
p_{w,t}(\mathbf S)\propto
p(\mathbf d_t\mid\mathbf S)
\,p_{w,t-1}(\mathbf S)^{\alpha_t}
\,p_0(\mathbf S)^{1-\alpha_t},
\qquad \alpha_t=1-\frac1{N_t}.
$$

该式与原文 Appendix A.2 的 Eq. (9) 等价，$\mathbf d_t$ 包含当前键、值与权重。它同时做三件事：接收新观测、减轻旧后验的权重、恢复一部分基础先验。后者使“遗忘”具有明确的回归目标，而非任意缩小所有量。

**教学推导。** 若 $\alpha_t\equiv\alpha$，第 $s$ 个历史样本在第 $t$ 步的权重为 $\alpha^{t-s}$；累计权重为

$$
\sum_{j=0}^{t-1}\alpha^j=\frac{1-\alpha^t}{1-\alpha}\leq N.
$$

因此 $N$ 是等效证据量，不是硬性截断窗口。若门随输入变化，样本权重变成 $\prod_{u=s+1}^{t}\alpha_u$，当前 $N_t$ 只概括当前遗忘强度，不能当作已经精确保留的历史 token 数。对较小的 $Ad_t$，有 $N_t\approx1/(Ad_t)$。（Sec. 2.2，PDF p. 4；Appendix A.2，pp. 14–15）

### 2.4 自由能把可塑性、稳定性和遗忘写进一个目标

对于零均值、方差为 $\sigma_{prior}^2$ 的各向同性高斯先验，第 $i$ 行均值的优化目标是

$$
\begin{aligned}
\mathcal F_{t,i}(\boldsymbol\mu_i)
={}&\underbrace{\frac{\beta_{t,i}}2
(\boldsymbol\mu_i^\top\mathbf k_t-v_{t,i})^2}_{\text{适应当前观测}}\\
&+\underbrace{\frac{1-\alpha_t}{2\sigma_{prior}^2}
\|\boldsymbol\mu_i\|^2}_{\text{回到基础先验}}\\
&+\underbrace{\frac{\alpha_t}2
(\boldsymbol\mu_i-\boldsymbol\mu_{t-1,i})^\top
\boldsymbol\Sigma_{t-1,i}^{-1}
(\boldsymbol\mu_i-\boldsymbol\mu_{t-1,i})}_{\text{保护已有知识}}
+C_{\boldsymbol\Sigma}.
\end{aligned}
$$

这是原文 Eq. (3)。第三项的度量来自历史精度：已经很确定的方向，改变它的代价更大；不确定的方向则更容易调整。历史折扣限制旧证据的累积，先验回流为精度提供正的基准。$C_{\boldsymbol\Sigma}$ 包含协方差相关项，求均值时可以忽略，更新方差时必须保留。（PDF p. 5；Appendix A.3，pp. 15–17）

### 2.5 完整高斯解与 Palimpsa 的近似边界

为展示计算结构，记 $\mathbf P_{t,i}=\boldsymbol\Sigma_{t,i}^{-1}$、$\mathbf P_{prior}=\sigma_{prior}^{-2}\mathbf{Id}_{d_k}$。完整高斯更新是

$$
\mathbf P_{t,i}=
\alpha_t\mathbf P_{t-1,i}+(1-\alpha_t)\mathbf P_{prior}
+\beta_{t,i}\mathbf k_t\mathbf k_t^\top,
$$

$$
\boldsymbol\mu_{t,i}=\mathbf P_{t,i}^{-1}
\left[\alpha_t\mathbf P_{t-1,i}\boldsymbol\mu_{t-1,i}
+\beta_{t,i}v_{t,i}\mathbf k_t\right].
$$

在这个共轭模型中，完整高斯推断有解析解，但每个值通道可能需要不同的精度矩阵和线性系统求解。Palimpsa 为了保留逐状态可塑性并降低计算量，在上述解中丢弃精度矩阵的非对角项，得到原文 Eq. (5)：

$$
\boxed{\mathbf I_t=
\alpha_t\mathbf I_{t-1}+(1-\alpha_t)\mathbf I_{prior}
+\boldsymbol\beta_t\otimes\mathbf k_t^2}
$$

$$
\boxed{\boldsymbol\mu_t=
\alpha_t\frac{\mathbf I_{t-1}}{\mathbf I_t}\odot\boldsymbol\mu_{t-1}
+\frac1{\mathbf I_t}\odot
\left[(\boldsymbol\beta_t\odot\mathbf v_t)\otimes\mathbf k_t\right]}
$$

$\otimes$ 为外积；平方、除法和 $\odot$ 都逐元素进行。第一式累积“该键方向接收了多少加权证据”，第二式让新写入除以累积精度。保护历史的系数也随每个状态的精度比变化。

**必须保留的限定是：这比标准均值场（对角协方差）变分推断更强。** Appendix A.5 明确说明先推导耦合解，再删除非对角项。完整回归目标中的 $\mathbf k_t\mathbf k_t^\top$ 会耦合不同键维度；只限制后验协方差为对角矩阵，并不会自动消除均值最优解中的这些耦合。因此，实际 Palimpsa 是有贝叶斯来源的近似递推。（PDF p. 5，Eq. (5)；pp. 16–18，Eqs. (21)、(26)、(28)–(31)）

**教学例子。** 对一个标量状态，令旧均值为 1、当前目标为 0，$k=\beta=I_{prior}=1$、$\alpha=0.9$：

| 旧重要性 | 新重要性 | 新均值 |
| --- | --- | --- |
| $I_{t-1}=1$ | $0.9+0.1+1=2$ | $0.9/2=0.45$ |
| $I_{t-1}=9$ | $8.1+0.1+1=9.2$ | $8.1/9.2\approx0.8804$ |

同一个冲突输入更难改动高重要性状态。若此后没有新证据，$I_t-I_{prior}=\alpha(I_{t-1}-I_{prior})$，重要性逐渐降低，为后续学习释放空间。

### 2.6 换到自然参数后，两条递推可以并行扫描

定义精度加权均值与中心化重要性：

$$
\mathbf M_t=\mathbf I_t\odot\boldsymbol\mu_t,
\qquad \bar{\mathbf I}_t=\mathbf I_t-\mathbf I_{prior}.
$$

直接将 Eq. (5) 相乘整理，得到

$$
\mathbf M_t=\alpha_t\mathbf M_{t-1}
+(\boldsymbol\beta_t\odot\mathbf v_t)\otimes\mathbf k_t,
$$

$$
\bar{\mathbf I}_t=\alpha_t\bar{\mathbf I}_{t-1}
+\boldsymbol\beta_t\otimes\mathbf k_t^2,
\qquad
\mathbf y_t=\left(\frac{\mathbf M_t}{\mathbf I_{prior}+\bar{\mathbf I}_t}\right)\mathbf q_t.
$$

两条状态递推都是仿射形式，局部变换可关联组合。作者的 Triton 内核在块内并行扫描，块间顺序传递末状态。困难出在读出前需要逐 token 的 $\mathbf M_t$ 和 $\mathbf I_t$：块太大会占满寄存器，块太小又增加 HBM 流量。这解释了“可以扫描”为什么没有直接变成与成熟 Mamba2 内核相同的速度。（Appendix A.12，PDF pp. 21–22）

从形状可知，单头循环状态为两个 $d_v\times d_k$ 数组，存储量为 $O(d_vd_k)$，相对长度为常数；完整逐行协方差则需要 $O(d_vd_k^2)$。这里的阶数分析由原文状态维度直接得到。

### 2.7 两种骨干与既有模型的关系

![图 5：Palimpsa-M 与 Palimpsa-D](figures/fig-05.png)

原文 Fig. 5，PDF p. 14。左图是 Mamba2 风格的 Palimpsa-M，右图是 DeltaNet 风格的 Palimpsa-D；两者使用同一类双状态机制，但外围网络和门的组织不同。

| 设计 | Palimpsa-M | Palimpsa-D |
| --- | --- | --- |
| 骨干 | Mamba2 | DeltaNet 风格 |
| 独立门控 MLP | 无，依靠层内投影混合通道 | 有 |
| 写入与遗忘 | $d_t$ 同时参与输入门和遗忘门，二者耦合 | 独立 $b_t$ 使写入与遗忘解耦 |
| 查询/键归一化 | 不做图中 D 版的 L2 归一化 | 有 L2 归一化 |
| 关闭元可塑性后的比较角色 | 对应 Mamba2 | 保留 D 版外围结构的消融模型 |

因此 Palimpsa-D（w/o Meta）不能直接写成 Gated Deltanet：论文说明 D 版还涉及额外输入权重投影和层内残差。它是隔离元可塑性影响的骨干内对照。（Sec. 2.2，PDF p. 5；Appendix A.1，p. 14）

Table 1 的统一视角是：各模型可对应到不同历史稳定性度量、输入门形状及回归求解近似。

| 模型 | 核心区别 | 对本论文的比较意义 |
| --- | --- | --- |
| Longhorn | 固定历史稳定性度量，向量输入权重，对更新作对角近似 | 有输入选择，但不累积逐状态重要性 |
| DeltaNet / Gated Deltanet | 固定稳定性度量，标量输入门，残差修正；后者有遗忘门 | 强循环注意力基线 |
| Mesa / Mesanet | 保留键维度相关性，标量 $\beta_t$ 使值行共享精度结构，以线性系统求解读出 | 在跨键相关性与每值行独立可塑性之间作不同取舍 |
| Palimpsa | 向量 $\boldsymbol\beta_t$，随上下文变化的逐状态对角精度 | 保存独立重要性，放弃非对角相关性 |

Mesanet 仍然有动态二阶状态；作者强调的是它不能像 Palimpsa 的向量输入门那样，为不同值行形成独立的精度结构。不能把这一比较简化为“Mesanet 完全没有历史相关适应”。另外，原文 Table 1 与 Appendix A.6 对 Gated Deltanet 残差项中 $\alpha_t$ 的位置写法不同；把它们视为同一优化框架下的相关近似更稳妥，不能未经补充推导就当作逐项完全相同的等式。（PDF pp. 5–7、18）

### 2.8 Mamba2 极限与微调迁移

当

$$
\left|\frac{\mathbf I_t-\mathbf I_{prior}}{\mathbf I_{prior}}\right|\ll1,
$$

且先验精度为共享标量 $I_{prior}>0$ 时，均值更新近似为

$$
\boldsymbol\mu_t\approx\alpha_t\boldsymbol\mu_{t-1}
+\left(\frac{\boldsymbol\beta_t\odot\mathbf v_t}{I_{prior}}\right)
\otimes\mathbf k_t.
$$

它具有 Mamba2 的衰减状态加秩一写入形式。论文把这个区域称为遗忘占主导的极限。更直接的数学条件是**新证据累积的精度相对先验很小**：仅把 $\alpha$ 减小，并不保证当步 $\boldsymbol\beta\otimes\mathbf k^2$ 也很小。

为在迁移初期接近这个区域而不损坏内容写入，作者重参数化

$$
\mathbf v_t^*=\boldsymbol\beta_t\odot\mathbf v_t
=\operatorname{SiLU}(\boldsymbol\theta_v\mathbf x_t),
$$

将 $\mathbf v_t^*$ 直接作为内核输入，让重要性分支的 $\boldsymbol\beta_t$ 可以较小，同时保留有限的内容写入。每个头的 $b_{scale}$ 在上下文中固定、在外层训练中可学习：从头训练初始化为 1，微调初始化位于 $[0.1,1.0]$。之后训练可以增加重要性积累，逐步偏离 Mamba2 极限。（Sec. 2.3–2.4，PDF pp. 5–6）

## 三：实验——分别测试容量、语言质量与长上下文适应

### 3.1 MQAR：在有限状态中回忆尽量多的关联

多查询关联回忆（Multi-Query Associative Recall, MQAR）先提供随机键值关联，再查询对应值。作者采用每段 $L/4$ 个键值对的高密度配置，减少“只选少数重要 token”就能解决任务的可能性。课程依次为 $(L,N_{kv})=(128,32),(256,64),(512,128),(1024,256)$，每阶段 20 个 epoch。

模型为 2 层、隐藏维 128、8 头，状态维 16，值扩展倍数为 2；词表大小为 8192。基线包括 Gated Deltanet，以及 Palimpsa-D/M 各自关闭元可塑性的版本。每种模型用 8 个随机种子，种子同时影响初始化与数据；搜索学习率 $\{10^{-3},2.15\times10^{-3},4.64\times10^{-3},10^{-2}\}$，按模型选择最佳学习率。报告查询准确率，越高越好；图中的误差棒为跨种子 $\pm1$ 个标准差。（Sec. 3.1，PDF p. 6；Appendix A.8、Table 4，p. 19）

### 3.2 170M / 760M：匹配训练 token 数

| 模型规模 | 数据与总预算 | 元可塑微调方案 | 主要比较 |
| --- | --- | --- | --- |
| 170M | FineWeb-Edu，15B tokens | 从无元可塑模型的 14B checkpoint 出发，再训 1B；另测从头训练 | Transformer++、Gated Deltanet、两种 Palimpsa 及消融 |
| 760M | FineWeb-Edu，30B tokens | 从 28B checkpoint 出发，再训 2B | 同上，但不再报告从头训练的元可塑版本 |

训练使用 Flame；初始训练有 2000 步预热，微调预热缩短至 200 步，峰值学习率降到原来的十分之一。170M/760M 的初始峰值学习率分别为 $3\times10^{-3}$、$1.25\times10^{-3}$。（Appendix A.9，PDF pp. 19–20）

评测包括 WikiText、LAMBADA 困惑度（perplexity，越低越好），以及零样本 LAMBADA、PIQA、HellaSwag、WinoGrande、ARC-easy、ARC-challenge、SIQA。Table 2 的 Avg. 是七个准确率列的平均，**不包含两个困惑度列**。PIQA、HellaSwag 和 ARC-c 标为 normalized accuracy，按答案长度归一化的候选得分选答案；其余列按表中 acc 口径报告。

预算一致指 token 数一致。各模型层数和状态配置也不同：例如 760M Gated Deltanet 的值扩展为 1，而 Palimpsa-D 为 2；Palimpsa-M 有 38 层，D 版有 19 层。因而跨架构结果应与同骨干消融一起看，不能解释成完全相同状态字节数下的纯更新规则比较。（Table 5，PDF p. 20）

### 3.3 2.7B：选择性替换与匹配的后续训练

基座是预训练了 300B tokens 的 `state-spaces/mamba2-2.7b`，共 64 层、隐藏维 2560。作者先估计各层有效窗口 $N_t$，选择窗口较大、遗忘较弱的 **8 层**替换为 Palimpsa，剩余 56 层保持 Mamba2。理由是：长期保留的层更容易积累重要性，也最可能从元可塑性获益。

![图 6：依据有效记忆窗口选择替换层](figures/fig-06.png)

原文 Fig. 6，PDF p. 20。左侧横轴是中位 $N_t$ 的对数刻度，向左更大，红点标记被选层；右侧热图横轴为 token 位置，纵轴为层，颜色为跨头统计的中位 $N_t$。这是层选择依据，不能从热图本身读出准确率收益。

混合模型与 Mamba2 对照均采用相同三阶段流程：先在 FineWeb-Edu 与 StackV2 上继续预训练 10B tokens，再用长文本、代码与合成 needle 数据训练 5B tokens，将上下文扩展到 32k，最后用 LongAlpaca 做指令微调。表中“Fine-tuned 15BT”概括前两个阶段，后面还有指令微调。（Sec. 3.4，PDF pp. 8–9；Appendix A.10，pp. 20–21）

长上下文评测包括原文简称 LongBench 的基准，其参考文献明确对应 **LongBench v2**，以及 4k/8k/16k/32k 的 RULER。LongBench 的短、中、长组是数据集的文档长度分组；本文将 medium 描述为 32k–128k，但未交代长文实际输入的完整截断策略，不能据此断言模型获得了经验证的 128k 有效记忆窗口。

## 四：结果——收益最稳定地体现在记忆保持，但具有任务取舍

### 4.1 MQAR：元可塑性收益随任务变难而更明显

![图 2：不同序列长度下的 MQAR 准确率](figures/fig-02.png)

原文 Fig. 2，PDF p. 6，使用作者原图。三个面板分别是 $L=256,512,1024$；横轴是模型，纵轴是准确率，各面板纵轴范围不同，不能直接比较柱高差。黑点是独立运行，误差棒是标准差。

Palimpsa-D 的均值在三个面板中都最高，且相对自身 w/o Meta 的差距在长序列上更大。以 $L=1024$ 为例，图示约为 0.69 对 0.58，Gated Deltanet 约为 0.62；这些是读图近似值，不是原文表格精确值。Palimpsa-M 也优于自身消融，但收益较小。长序列上的种子离散明显，支持“平均回忆质量更好”，同时显示学习这个机制仍有优化难度。

### 4.2 学习动力学：先减弱遗忘，才形成显著的重要性差异

![图 3：记忆窗口、重要性分化与训练损失](figures/fig-03.png)

原文 Fig. 3，PDF p. 7。横轴是训练步数；蓝线左轴是上下文位置平均的 $\log N_t$，橙线右轴为

$$
r=\frac{I_{max}-I_{min}}{I_{min}},
$$

粉线表示训练损失趋势，原图没有单独的损失数值轴。阴影为 8 个种子的标准差。

训练早期窗口小，历史精度难以累积，重要性差异也小；随着 $N_t$ 增大，模型逐渐区分容易修改和高度巩固的状态，损失随后明显降低。末期 $r$ 约为 40，按定义对应 $I_{max}/I_{min}\approx41$。这些共同变化支持作者关于“减弱遗忘后才能发挥元可塑性”的解释。（Sec. 3.2，PDF p. 7）

### 4.3 170M：微调更稳健，D 版从头训练并不占优

以下均来自 Table 2（PDF p. 8），准确率为百分数。

| 170M 模型 | WikiText ppl ↓ | LAMBADA ppl ↓ | 七任务 Avg. ↑ |
| --- | ---: | ---: | ---: |
| Transformer++ | 29.51 | 44.90 | 43.80 |
| Gated Deltanet | 29.16 | 41.87 | 43.59 |
| Palimpsa-D，w/o Meta | 30.80 | 46.83 | 43.91 |
| Palimpsa-D，微调 1B | 29.73 | 40.26 | **43.96** |
| Palimpsa-D，从头训练 | 30.81 | 42.27 | 43.45 |
| Palimpsa-M，w/o Meta | 31.64 | 48.42 | 42.90 |
| Palimpsa-M，微调 1B | 30.58 | 42.01 | 43.48 |
| Palimpsa-M，从头训练 | 31.40 | 43.02 | 43.57 |

D 版微调后的均分只比自身消融高 **0.05 个百分点**，主要收益更明显地体现在 LAMBADA 困惑度 46.83→40.26。M 版微调的均分提高 **0.58 个百分点**，其从头训练版又略高于微调版。因此“微调总是优于从头训练”并不成立；本文明确的优化困难主要体现在 D 版。作者据此将较大规模的计算资源集中到迁移微调方案。（Sec. 3.3，PDF pp. 7–8）

### 4.4 760M：平均质量提升，但困惑度并非全面领先

| 760M 模型 | WikiText ppl ↓ | LAMBADA ppl ↓ | 七任务 Avg. ↑ |
| --- | ---: | ---: | ---: |
| Transformer++ | **18.91** | 18.84 | 51.28 |
| Gated Deltanet | 19.06 | 17.06 | 51.50 |
| Palimpsa-D，w/o Meta | 19.33 | 16.54 | 51.82 |
| Palimpsa-D，微调 2B | 19.02 | **14.86** | **52.27** |
| Palimpsa-M，w/o Meta | 19.96 | 16.34 | 51.53 |
| Palimpsa-M，微调 2B | 19.60 | 16.35 | 52.16 |

D 版相对同骨干消融提高 **0.45 个百分点**，M 版提高 **0.63 个百分点**；D 版相对 Gated Deltanet 高 **0.77 个百分点**。D 版 LAMBADA 准确率也由 41.98% 增至 43.55%，提高 1.57 个百分点，与该任务需要较广上下文的特征相符。M 版的 LAMBADA 困惑度则从 16.34 略升至 16.35，不能概括成两个架构在该指标上均改善。Transformer++ 仍有最好的 WikiText 困惑度。（Table 2，PDF p. 8）

![图 4：相对 Transformer 的逐位置负对数似然差](figures/fig-04.png)

原文 Fig. 4，PDF p. 9，760M 模型。横轴是对数刻度的 token 位置，纵轴是该位置相对 Transformer 的 NLL 差，零线为 Transformer，负值更好。元可塑模型的曲线随位置上升得更慢，因而在更靠后的位置才越过零线。图中的“约 5 倍”指这个特定的交叉位置尺度差异，不是准确率、吞吐或所有任务容量都扩大 5 倍。曲线支持更持久的上下文收益，同时各循环模型在足够靠后的所测位置仍可能劣于 Transformer。

### 4.5 2.7B：少量层替换改善平均分与中长文档组

| 2.7B 指标 | Mamba2 对照 | 替换 8 层的 Palimpsa-M | 变化 |
| --- | ---: | ---: | ---: |
| 七任务 Avg. ↑ | 59.22 | 60.06 | +0.84 个百分点 |
| WikiText ppl ↓ | 14.46 | 14.51 | +0.05，略差 |
| LAMBADA ppl ↓ | 4.79 | 4.79 | 持平 |
| LongBench overall ↑ | 19.3 | 20.4 | +1.1 分 |
| LongBench short ↑ | 18.9 | 16.1 | −2.8 分 |
| LongBench medium ↑ | 19.5 | 23.3 | +3.8 分 |
| LongBench long ↑ | 19.4 | 20.4 | +1.0 分 |

两种模型都接受相同的继续预训练、长度扩展和指令微调，因此这里的对照不是“额外训练后的 Palimpsa”对“未经适应的原始 Mamba2”。LongBench 的改善主要来自 medium/long；easy 组持平于 22.4，hard 组由 17.4 提高到 18.6。结果展示的是收益分布，整体 +1.1 不能掩盖 short 组的下降。（Tables 2–3，PDF pp. 8–9）

### 4.6 RULER：保留更久与短程适应之间存在可见交换

变量追踪（Variable Tracing, VT）要求沿变量赋值关系追踪最终值。完整趋势如下，分数越高越好。

| 上下文 | Mamba2 对照 | Palimpsa-M | 差值 |
| --- | ---: | ---: | ---: |
| 4k | 59.6 | 33.5 | −26.1 |
| 8k | 49.7 | 24.9 | −24.8 |
| 16k | 26.0 | 22.5 | −3.5 |
| 32k | 14.9 | 24.4 | +9.5 |

Palimpsa 在 32k 更好，但在前三个长度都更差。这个交叉说明衰减更慢与短程性能损失同时存在，不能只用 32k 一列概括整组追踪能力。（Table 3，p. 9；Table 6，p. 21）

Appendix A.11 还给出检索、聚合和问答：

| RULER 子任务 | 代表数值：对照→Palimpsa | 可以得到的结论 |
| --- | --- | --- |
| N-MQ，多查询检索 | 4k：53.1→57.5；32k：2.3→2.8 | 四个长度均改善，但 32k 绝对分数很低 |
| N-MV，同键多值检索 | 4k：51.5→59.9；32k：1.1→1.4 | 四个长度均改善，长程任务仍困难 |
| N-MK，多键干扰检索 | 8k：24.6→21.8；16k：8.0→8.0 | 有退步或持平，不能称为全部长度获益 |
| N-1，单 needle 检索 | 32k：94.4→93.0 | 对照保留优势；4k/8k 均为 100 |
| FWE，频繁词提取 | 16k：59.6→43.8；32k：31.9→24.7 | 元可塑性在所测长度均较差 |
| CWE，共同词提取 | 4k：30.5→29.6；32k：0.4→0.2 | 两者都衰减，Palimpsa 未改善 |
| QA（HotPot / SQA） | 32k：20.2→20.6 / 14.7→15.1 | 效果依长度变化，提升幅度小 |

这里按 Table 6 的数字表述。附录文字把 N-MK 也描述为持续获益，但该表的 8k、16k 行不支持这一概括。作者对频繁词任务退步的机制也没有给出确定解释。（Appendix A.11，PDF p. 21）

### 4.7 效率：状态大小不随长度增长，速度仍是主要成本

训练时，双状态在块内驻留造成寄存器压力，块间状态还需写入 HBM。Appendix A.12 报告训练时间相对优化后的 Simple GLA：170M 约 **1.5 倍**，760M 约 **3 倍**；Sec. 2.4 另报告 760M 的 Mamba2 比 Palimpsa 快超过 3 倍。这是两处不同基线，不能拼成同一个统一速度表。

![图 7：循环注意力内核推理吞吐](figures/fig-07.png)

原文 Fig. 7，PDF p. 23。横轴为模型维度 $D$，纵轴为千 tokens/s 的对数刻度，越高越好。硬件是单张 RTX 3090，配置 $B=16,L=2048,H=1$，比较的是循环注意力内核。Palimpsa 在 $D=512$ 约为 770k tokens/s；在 $D=2048$ 约为 50k，对照 Simple GLA 约为 188k，约慢 4 倍。循环推理消除了训练的块内中间状态压力，但每步双状态更新的工作量仍然存在。

作者预计整模型中的相对差距会被共享的投影、MLP 等计算摊薄；本文没有提供相应整模型速度数字。因而论文支持的实用策略是“用较快骨干预训练，再局部或短程引入元可塑性”，而非直接宣称推理成本已与 Mamba2 持平。（Appendix A.12–A.13，PDF pp. 21–23）

## 五：结论——值得借鉴的是状态更新的自适应保护机制

Palimpsa 最有价值的贡献，是把**写入多少、保护哪些状态、何时释放旧证据**联系到同一个在线回归模型。精度状态使更新依赖具体记忆元素经历的历史；先验回流避免这些元素永久固化；自然参数形式又让机制保持可扫描、可循环执行。这比只加一个输入门更直接地表达了固定记忆的稳定性—可塑性权衡。

论文也给出了有实践意义的迁移路径。Mamba2 极限让已有模型能够作为初始化，2.7B 实验表明无需把全部层替换为昂贵的新内核，也可以获得平均分和部分长上下文收益。对于已有循环模型，优先在弱遗忘层引入重要性状态是一个值得检验的设计方向。

决定如何使用这项方法的限制很具体：对角精度近似舍弃键维度相关性；辅助状态增加内存与内核工作；从头训练 D 版更困难；长程保留增强并不会自动改善短程状态追踪和词频聚合。最直接的后续问题是，能否按层或按头自适应启用元可塑性，在保留收益的同时减少状态开销；以及能否将少量相关性结构加入精度表示，改善当前对角近似的取舍。这些是由本文结果提出的研究问题，并非已经验证的改进。