# Nested Learning：深度学习架构的“幻象”与多时间尺度记忆

**论文**：Nested Learning: The Illusion of Deep Learning Architectures  
**作者**：Ali Behrouz、Meisam Razaviyayn、Peilin Zhong、Vahab Mirrokni  
**版本**：arXiv:2512.24695v1，2025-12-31 提交；研读日期：2026-10-10。arXiv 题名用复数 *Architectures*，PDF 首页用单数 *Architecture*。  
**原文**：[arXiv v1](https://arxiv.org/abs/2512.24695v1) · [本地 PDF](../source/paper.pdf) · [英文汇报](slides.en.pdf) · [可编辑 TeX](slides.en.tex)

## 论文总览

这篇论文希望改变我们描述模型的方式：除了问“堆叠了多少层、用了什么 attention”，还应问“哪些状态在学习、各自学习什么、多久更新一次、知识怎样在这些状态间流动”。作者把整个系统——网络权重、循环记忆、动量和预条件器——统一写成一组彼此连接、运行在不同时间尺度上的优化过程，称为**嵌套学习（Nested Learning，NL）**。

NL 是一个组织和设计学习系统的框架；**Hope** 则是其中一个具体模型。Hope 把能在上下文中调整自身投影与更新信号的自指 Titans，与多时间尺度的连续统记忆系统（Continuum Memory System，CMS）组合起来。前者侧重快速、复杂的适应，后者侧重容量更大、持续时间更长的知识存储。另一项实例是把快慢动量组合起来的 M3 优化器。

最清楚的实证收益是：在 1.3B 参数、100B 训练 token 的语言建模实验中，Hope 的 WikiText 困惑度为 **14.39**，Titans 为 **15.60**；八项准确率指标的平均值为 **58.04**，Titans 为 **56.82**，Transformer++ 为 **53.38**。持续分类与顺序学习两种新语言的实验也支持 CMS 的作用。不过，短上下文精确召回仍由 Transformer 领先，BABILong 的 10M 长度结果依赖任务微调，原文结论也明确承认灾难性遗忘尚未解决。[Table 2，PDF p.37；Tables 3–4，p.38；Sec. 10，p.40]

“架构的幻象”应理解为一种表示观点：把内部优化过程折叠成一个方框，就会遮蔽模型如何形成和保留状态。统一的数学描述并没有消除不同实现之间的容量、计算量和归纳偏置差异。

## 结构地图

以下均为从 1 开始的 PDF 页码，与本文印刷页码一致。

| 原文章节 | 在论证中的作用 | PDF 页码与主要证据 |
| --- | --- | --- |
| 1 Introduction；1.1 Human Brain Perspective；1.2 Contributions and Roadmap | 静态部署后的记忆断层；多时间尺度与可复用结构的动机 | pp.1–5，Figs.1–2 |
| 2 Preliminaries | GD、近端形式、元学习、快权重、广义 ICL | pp.6–7 |
| 3 Nested Learning | 联想记忆、更新频率、优化层级、跨层知识传递 | pp.7–15，Fig.3 |
| 4 Optimizers as Learning Modules | 反向传播与动量的记忆解释；深动量与 DGD | pp.15–21，Eqs.(29)–(60)，Fig.4 |
| 5 Existing Architectures as Neural Learning Modules | attention、Hebbian、Delta 等更新的统一解释 | pp.21–24，Eq.(62) |
| 6 Takeaways and Revisiting Common Terms | 用 NL 重述 ICL、预训练、参数、持续学习 | pp.24–27 |
| 7 Continuum Multi-Timescale Memory System | CMS 三种连接方式；M3；预训练权重初始化 | pp.27–30，Eqs.(70)–(75)，Algorithm 1 |
| 8 Hope: A Self-Referential Learning Module with Continuum Memory | 自生成目标、DGD 更新、分块训练、完整 Hope | pp.30–33，Fig.5，Eqs.(83)–(97) |
| 9 Experiments（9.1–9.7） | 持续学习、长上下文、语言建模、召回、形式语言、消融、优化器 | pp.33–40，Figs.6–12，Tables 1–6 |
| 10 Conclusion | 贡献与遗忘仍然存在的原因 | p.40 |
| Appendix A / B / C | 广义嵌套系统；Adam/AdaGrad；DGD 推导 | pp.50–52 |

## 一：动机——模型缺少哪些时间尺度？

### 1.1 预训练知识与当前上下文之间的断层

常见 Transformer 在部署后有两种显著不同的状态。FFN 和投影参数保存预训练期间形成的知识，通常在推理时固定；attention 读取当前上下文中的 KV，随上下文结束或被清空而丢失这部分信息。它能利用刚刚给出的材料，并不意味着这些材料已经进入以后仍可使用的参数记忆。

作者用顺行性遗忘作类比，并借助脑内不同时间尺度的记忆巩固来提出设计动机。这些神经科学讨论在本文中承担的是启发作用；真正用于评价模型的证据仍是后面的机器学习实验。本文主要讨论在线巩固，没有实现完整的睡眠回放或离线系统巩固流程。[Sec.1.1，PDF pp.3–4]

增加普通网络层数会增加表示能力，却没有自动回答：一次新的经验应该写到哪里、保存多久，以及什么时候允许改写旧知识。NL 引入的额外设计维度是**优化层级（level）与更新频率**，它与前向网络层数（layer）不同。

### 1.2 不应割裂架构与优化器

架构生成梯度，优化器压缩梯度历史并决定下一步参数。换一个架构，就改变了优化器所面对的数据流；换一个优化器，也会改变之后产生的数据流。因此作者把“架构 + 学习过程”一起称为神经学习模块（Neural Learning Module）。对于不停接收新数据的系统，动量等优化器状态也是系统记忆的一部分。[Sec.3.2，PDF pp.12–13；Sec.6，p.27]

![图2：网络层与内部学习层级](figures/fig02-nested-learning.png)

原图 Fig.2，PDF p.4。左侧把混合网络的普通层序列展开为内部梯度流；右侧每个盒子对应自己的学习目标与上下文。阅读时应区分前向计算经过多少层，以及每个方框内部进行多少次、何种学习。

## 二：方法——从联想记忆到 Hope

### 2.1 一个统一的基本对象：学习 key 到 value 的映射

设 key 为 $\boldsymbol{k}\in\mathbb R^{d_k}$，value 为 $\boldsymbol{v}\in\mathbb R^{d_v}$，记忆算子为 $\mathcal M$。作者把联想记忆（associative memory）写成

$$
\mathcal M^*=\arg\min_{\mathcal M}\widetilde{\mathcal L}\bigl(\mathcal M(\mathcal K);\mathcal V\bigr).
$$

这里的 key/value 不限于 token 的投影：可以是层输入与局部误差信号，也可以是梯度与某种梯度统计量。读取是 $\mathcal M(\boldsymbol q)$；写入则是求解或近似求解这个映射问题。模型结构、内部目标、保留旧状态的约束、求解方式一起决定记忆行为。[Definition 1，Sec.3.1，PDF pp.7–8]

| 符号 | 含义与维度 |
| --- | --- |
| $\boldsymbol x_t$ | 时刻 $t$ 的输入；Hope 中主要取 $\mathbb R^d$ |
| $\mathcal M_t$ | 随时间更新的记忆；线性情形为 $d_v\times d_k$ 矩阵 |
| $\boldsymbol k_t,\boldsymbol v_t,\boldsymbol q_t$ | 写入地址、写入内容、读取查询 |
| $\boldsymbol\delta_\ell$ | 第 $\ell$ 个网络层的局部误差信号，维度等于该层输出维度 |
| $\boldsymbol m_t$ | 动量状态；普通矩阵权重的动量与该权重同形 |
| $f_\ell,C^{(\ell)}$ | 更新频率与更新间隔；同一时间单位下成反比 |
| $\eta_t,\alpha_t$ | 更新步长与记忆保留系数 |

下面在推导线性记忆时统一采用列向量约定。论文部分段落切换行/列向量，不能只按矩阵乘法的印刷顺序照搬实现。

### 2.2 为什么 GD 与线性 attention 都能写成记忆更新？

对于线性层 $\boldsymbol y=W\boldsymbol x$，令 $\boldsymbol\delta=\partial\mathcal L/\partial\boldsymbol y$，则

$$
\nabla_W\mathcal L=\boldsymbol\delta\boldsymbol x^\top,
\qquad
W_{t+1}=W_t-\eta_t\boldsymbol\delta_t\boldsymbol x_t^\top.
$$

把当前点计算出的 $\boldsymbol\delta_t$ 固定，这一步等价于

$$
W_{t+1}=\arg\min_W
\left\{\langle W\boldsymbol x_t,\boldsymbol\delta_t\rangle
+\frac{1}{2\eta_t}\|W-W_t\|_F^2\right\}.
$$

第一项决定本次写入方向，第二项限制改动幅度。作者称 $\boldsymbol\delta_t$ 为局部惊讶信号（Local Surprise Signal，LSS）：它是目标函数诱导的误差导数，不是概率意义上的 surprisal，也不等于样本的“新颖程度”。[Sec.4.1，PDF p.15，Eqs.(29)–(31)]

非归一化线性 attention 的写入为

$$
\mathcal M_t=\mathcal M_{t-1}+\boldsymbol v_t\boldsymbol k_t^\top,
\qquad \boldsymbol y_t=\mathcal M_t\boldsymbol q_t.
$$

它恰好是对 $-\langle\mathcal M\boldsymbol k_t,\boldsymbol v_t\rangle$ 作步长 1 的 GD。因此，慢速训练投影矩阵与快速更新序列记忆可以放进一个嵌套系统。[Sec.3.1，PDF p.9，Eqs.(14)–(18)]

二者的差别仍然重要：反向传播中的 $\boldsymbol\delta_t$ 依赖当前网络权重，更新目标由系统自身生成；普通线性 attention 在一次更新中使用已经生成的 key/value。相似的外积形式并不把整个反向传播过程变成可直接并行扫描的线性 recurrence。作者在 p.15 明确强调了这一点。

### 2.3 更新频率给出层级，知识传递决定层级是否有用

每个子问题由 $(\mathcal L_i^{(k)},\mathcal C_i^{(k)},\Theta_i^{(k)})$ 描述：分别是目标、上下文流和可用参数。作者用单位时间的更新次数给组件排序；如果两组件更新次数相同，但 B 的本次更新必须等待 A，则 A 仍先于 B。频率相同且本次计算独立的状态可以处于同一层级，例如 Adam 的两个矩统计量。[Sec.3.2，PDF pp.10–11]

频率是相对于选定时间单位而言的。文中还把 attention 的解析式求解记作 $f=\infty$，表示无需有限步的迭代优化；这不是实际每秒执行无穷次运算。推理时冻结的 FFN 则记为 $f=0$。实践中讨论 CMS 时，更新间隔 $C$ 更直观：间隔越短，更新越频繁。

跨层通信有四类重要形式：[Sec.3.3，PDF pp.13–15]

| 传递方式 | 计算上发生什么 | 代表情形 |
| --- | --- | --- |
| 直接条件化 | 一个模块读取另一个模块的输出、状态或上下文 | 快权重读取；attention |
| 跨模块反向传播 | 模块进入同一损失的梯度链，但可以按不同频率更新 | 顺序 CMS |
| 学习初始状态 | 慢层学习快层开始适应时的参数 | MAML；具有可学习初态的记忆 |
| 生成参数或上下文 | 一个模块生成另一个模块使用的权重、梯度或训练目标 | 超网络；网络为优化器生成梯度 |

因此，仅仅让几块权重以不同速度变化还不够；需要明确哪些知识通过前向读取、梯度或初始化被传递。NL 的设计核心正是“各层学什么”和“各层怎样通信”。

![图3：固定 FFN 与具有可学习初态的记忆](figures/fig03-mlp-memory.png)

原图 Fig.3，PDF p.10。图中 Linear Attention++ 的初态由外层学习，序列内还可写入新关联。与固定 FFN 的关键区别是增加了适应过程；初态则提供预训练知识和快速适应的起点。

### 2.4 优化器：把梯度历史当作上下文

**动量是一种记忆。** 用正文 Sec.4.2 的符号约定，

$$
W_{t+1}=W_t+\boldsymbol m_{t+1},\qquad
\boldsymbol m_{t+1}=\alpha_t\boldsymbol m_t-\eta_t\nabla_W\mathcal L_t.
$$

先更新动量，再用动量更新权重，构成两个相互依赖的优化过程。动量的上下文是梯度；它保存的是有关参数空间的历史信息。其遗忘系数决定过去信息还保留多少。[Sec.4.2，PDF pp.15–16]

对标准 EMA，最近 $n$ 项的累计权重为 $1-\beta^n$。例如 $\beta=0.9$ 时，7 项约占 52.2%，44 项约占 99.0%。这解释了为什么普通动量主要反映近期信息，但“历史梯度被遗忘”与“任务知识必然被遗忘”之间还需要具体模型与任务的联系。Sec.4.3 的严格正交线性任务例子本身不足以推出旧任务预测受损：若更新始终位于与旧任务正交的方向，旧任务输出可以保持不变。其价值主要是提出长期梯度记忆的设计动机。[Sec.4.3，PDF pp.17–18；此处累计权重与正交性解释为本次分析]

**Adam 型归一化可以来自回归解。** 附录 B 的逐元素回归有一个易懂的标量版本：

$$
\min_m\sum_{i=1}^t(mg_i-p_t)^2+\lambda m^2
\quad\Longrightarrow\quad
m^*=\frac{p_t\sum_i g_i}{\sum_i g_i^2+\lambda}.
$$

若令 $p_t=\sqrt{\sum_i g_i^2}$ 且忽略正则项，就出现“一阶梯度和除以二阶量平方根”的结构。作者据此把 Adam、AdaGrad 和相关预条件器理解为对梯度流的压缩与坐标变换。[Appendix B，PDF pp.50–51，Eqs.(101)–(111)]

这里“最优”限定于作者构造的内部回归目标。附录印出的累加式并未完整包含标准 Adam 的 EMA 衰减与偏差校正，$\sqrt{\sum_i g_i^2}$ 也不是统计学中的方差。因此更准确的读法是 **Adam 型更新的回归解释**，不能把它当作 Adam 对任意原任务最优的证明。

**从这个视角可以设计什么？** Sec.4.4 给出五个方向：让动量学习梯度到更丰富目标的映射；把内部点积目标换成平方误差，得到状态相关的 Delta Momentum；用 MLP 替代线性动量记忆，得到 DMGD；使用高阶特征映射；对记忆输出施加非线性变换，例如 Muon 的 Newton–Schulz 步骤。这些是不同设计选项，并非全部已经在大规模实验中验证。Fig.4 的弯曲谷地例子展示 Delta Momentum 更快抵达目标，属于机制示例。[PDF pp.18–20]

Muon 的“内部优化”解释还应保留一个推导限定：p.17 的 Eq.(43) 只写正交性损失，而 Eq.(44) 的更新另含 $O_i-g_t$ 项，该项需要额外的贴近原梯度的目标才能导出；按 Eq.(43) 单独求导不会出现它。论文的统一视角因此比其逐行等价推导更可靠。

### 2.5 DGD：在输入方向上显式控制旧状态

令 $\boldsymbol u_t=-\nabla_{\boldsymbol y_t}\mathcal L(W_t;\boldsymbol x_t)$，把 GD 的内部点积目标改成回归目标：

$$
W_{t+1}=\arg\min_W\left[
\frac12\|W\boldsymbol x_t-\boldsymbol u_t\|_2^2
+\frac{1}{2\eta_t}\|W-W_t\|_F^2\right].
$$

这是原文 Eq.(56)。**从这个目标直接求解**，一阶条件是

$$
(W_{t+1}\boldsymbol x_t-\boldsymbol u_t)\boldsymbol x_t^\top
+\frac1{\eta_t}(W_{t+1}-W_t)=0.
$$

由 Sherman–Morrison 公式得到

$$
W_{t+1}=W_t-\gamma_t(W_t\boldsymbol x_t-\boldsymbol u_t)\boldsymbol x_t^\top,
\qquad
\gamma_t=\frac{\eta_t}{1+\eta_t\|\boldsymbol x_t\|_2^2},
$$

即

$$
W_{t+1}=W_t(I-\gamma_t\boldsymbol x_t\boldsymbol x_t^\top)
-\gamma_t\nabla_{\boldsymbol y_t}\mathcal L\,\boldsymbol x_t^\top.
$$

当 $\|\boldsymbol x_t\|_2=1$，这恢复正文 Eq.(57) 中 $\eta'_t=\eta_t/(1+\eta_t)$ 的形式。若范数为一般的 $\lambda$，分母应保留 $1+\eta_t\lambda^2$。[Sec.4.5，PDF p.20；推导为本次分析]

直觉是：先减弱旧权重沿当前输入方向的分量，再写入新的误差信号。与输入正交的方向不受这个秩一衰减项直接影响。普通 GD 的梯度本来就依赖当前权重，也不以样本独立为成立条件；DGD 的新增部分是**显式的、由输入方向决定的状态收缩**。

这个区别也意味着 DGD 并非原始损失的等价优化器。教学例子：若 $\boldsymbol\delta_t=0$ 但 $W_t\boldsymbol x_t\ne0$，GD 不更新，DGD 仍会收缩这一方向。因此它是否更好，要由所选内部目标与任务共同决定。

附录 C 的 Eqs.(114)–(120) 与起始目标在符号、$\eta$ 和范数系数上不一致；上面保留目标函数并重新求解，避免沿用这些中间式。附录 A 把“原损失 + 二次近端项”的精确最小化称作 GD 也需区分：一般而言这是近端点/隐式更新；对损失先线性化才得到通常的显式 GD。[PDF pp.50、52]

### 2.6 attention 与循环记忆：同一问题的不同求解方式

对于给定查询 $\boldsymbol q$，令权重 $s_i=\exp(\boldsymbol k_i^\top\boldsymbol q/\sqrt{d_k})$，则

$$
\arg\min_{\boldsymbol z}\sum_i s_i\|\boldsymbol v_i-\boldsymbol z\|_2^2
=\frac{\sum_i s_i\boldsymbol v_i}{\sum_i s_i}.
$$

这就是 softmax attention 的核回归解释：每个查询使用保存下来的上下文计算一个局部解。因果 attention 只取可见前缀，滑窗 attention 进一步限制求和范围。解的最优性针对这个查询相关的加权回归目标，不意味着模型能完美回答所有检索问题。[Sec.5，PDF pp.21–22，Eq.(62)]

| 机制 | 记忆目标/更新的关键区别 | 信息与计算取舍 |
| --- | --- | --- |
| Softmax attention | 每个查询的加权局部回归解析解 | 保存上下文，读取成本随上下文增加 |
| Hebbian / 线性 attention | 点积目标，累加 value–key 外积 | 固定大小状态，写入容易发生干扰 |
| Delta rule | 平方误差，写入 $(v-\mathcal M k)k^\top$ | 先纠正已有预测，改进覆盖与容量管理 |
| 深记忆 / TTT / Titans | 记忆函数可以是 MLP，内部作学习更新 | 更强映射能力，训练与状态管理更复杂 |
| Oja / 非欧几里得 / Omega 类规则 | 改变稳定约束、距离度量或更新时使用的历史窗口 | 扩展的是目标、保留机制和优化过程 |

在列向量约定下，Delta rule 的线性形式为 $\mathcal M_t=\mathcal M_{t-1}(I-\eta k_tk_t^\top)+\eta v_tk_t^\top$。其关键区别在更新残差。作者还讨论：可学习初态和输出门控可以给序列记忆提供持续知识，但门控“等价于初始化”的说法更适合作功能解释。[Sec.5，PDF pp.22–24]

Sec.6 因而把 ICL 扩展为“对自身上下文的适应”，把预训练看作对很长上下文的适应。这个术语约定有助于统一描述；它并没有让参数预训练和常规不改权重的提示学习在数据需求、成本或持久性上变得相同。

### 2.7 CMS：让知识具有多个保留时间尺度

CMS 用多组 MLP 代替单一固定 FFN，例如顺序组合

$$
\boldsymbol y_t=\operatorname{MLP}^{(f_k)}\circ\cdots\circ
\operatorname{MLP}^{(f_1)}(\boldsymbol x_t).
$$

每组只在自己的更新间隔 $C^{(\ell)}$ 到达时聚合该段信号并更新，其他时刻保持参数不变。用一段 $B_j^{(\ell)}$ 表示本次收集的样本，可把 Eq.(71) 的意图写成

$$
\theta_{\ell}\leftarrow\theta_{\ell}
-\sum_{t\in B_j^{(\ell)}}\eta_t^{(\ell)}g_t^{(\ell)}
\quad\text{（只在该层更新边界执行）}.
$$

这里 $g_t^{(\ell)}$ 表示所选优化器产生的更新信号；CMS 的任务目标可以是下一 token 预测。不同时间尺度提供不同的适应速度和知识保留期。[Sec.7.1，PDF pp.27–29，Eqs.(70)–(74)]

CMS 有三种连接方式：**nested** 逐级元学习快层初态，快层完成自己的上下文后重置；**sequential** 将 MLP 前向串联，并在最低频率层共同学习其初态；**independent/head-wise** 并行读取不同时间尺度的记忆，再用可学习加权等方式聚合。这里“连续统”表示一系列时间尺度，实际模型使用有限个层级。

为何可能减少遗忘？快层改写时，慢层暂时保留旧信息；通过读取和初始化/梯度通路，系统还有机会重新利用这些知识。**更新慢本身不能保证旧知识已经被复制进去**，实际保留能力仍依赖容量、训练目标和跨层传递。论文对此给出设计解释和实验支持，没有证明一个普遍的遗忘上界。

效率来自两点：只有到达更新边界的块需要改写；同一块中的投影或梯度可以在固定参数处批量计算。但读出多块 MLP、保存快状态与优化器状态仍有成本，不能据此声称推理开销与固定 FFN 相同。

### 2.8 M3：把 CMS 用于优化器

Multi-scale Momentum Muon（M3）维护快、慢两种梯度记忆，慢记忆隔一段才聚合更新；二者分别经 Newton–Schulz 变换，然后加权组合，再按梯度平方统计量归一化。其高层结构是

$$
\Delta\Theta_t\propto-
\frac{\operatorname{NS}(M_t^{(1)})+\alpha\operatorname{NS}(M_t^{(2)})}
{\sqrt{V_t+\epsilon}}.
$$

$M^{(1)}$ 负责近期梯度，$M^{(2)}$ 提供变化更慢的背景，$V_t$ 是平方梯度统计量。作者把它定位为 CMS 在梯度上下文中的概念验证。[Sec.7.2，PDF p.29，Algorithm 1]

Algorithm 1 中动量是加法累积式，不能自行把代码补成常见 EMA 再称为原文实现；正文慢状态递推的时间下标也有不一致。因此这里给出机制解释，不把纸面伪代码当成充分的复现规格。原文实测 M3 比 Muon 更慢，这项收益有计算代价。

### 2.9 Hope：自生成更新目标的快记忆，加上 CMS

![图5：Hope 与 Transformer 的结构比较](figures/fig05-hope.png)

原图 Fig.5，PDF p.30。Hope 的前向路径是 self-modifying Titans 后接多级 FFN/CMS；Transformer 则是 attention 后接 FFN。左侧的不同 chunk length 展示快慢状态的更新尺度，图中具体数值是架构示意，不能当作所有实验统一配置。

**第一步，状态产生投影和控制量。** 对当前输入，记忆模块产生

$$
\boldsymbol k_t=\mathcal M_{k,t-1}(\boldsymbol x_t),\quad
\boldsymbol v_t=\mathcal M_{v,t-1}(\boldsymbol x_t),\quad
\eta_t=\mathcal M_{\eta,t-1}(\boldsymbol x_t),\quad
\alpha_t=\mathcal M_{\alpha,t-1}(\boldsymbol x_t).
$$

与固定投影相比，生成写入地址、内容与更新控制的模块本身也能在上下文中适应。

**第二步，每个记忆生成自己的目标。** 对模块 $\mathcal M_\square$，

$$
\widehat{\boldsymbol v}_{\square,t}
=\mathcal M_{\square,t-1}(\boldsymbol v_t),\qquad
\widetilde{\mathcal L}_\square
=\|\mathcal M_\square(\boldsymbol k_t)-\widehat{\boldsymbol v}_{\square,t}\|_2^2.
$$

模块把自己在 value 输入上的响应当作 key 输入应学到的目标。“自修改”落在这里：模型状态影响训练自己的信号，并影响控制更新的其他模块。它没有任意改写程序、结构或任务目标的能力。[Sec.8.1，PDF pp.31–32，Eqs.(83)–(89)]

**第三步，按 DGD 与保留门更新。** 对线性记忆，正文的核心形式为

$$
\mathcal M_{\square,t}
=\mathcal M_{\square,t-1}(\alpha_t I-\eta_t\boldsymbol k_t\boldsymbol k_t^\top)
-\eta_t\nabla_{\mathcal M_\square}\widetilde{\mathcal L}_\square.
$$

第一项控制旧记忆保留，第二项拟合自生成目标。原文实际选用两层残差 MLP 作为记忆，形式为 $\mathcal M(z)=z+W_1\sigma(W_2z)$，初态跨序列元学习；把上述矩阵式扩展到 MLP，需要在各层参数上解释更新。原文高层公式并没有完全展开每层维度与门控参数化。[Eq.(88)–(89)，p.32]

**第四步，读取并交给 CMS。** 先用更新前的工作记忆读取 $o_t=\mathcal M_{\mathrm{memory},t-1}(q_t)$，再令 $y_t=\mathrm{CMS}(o_t)$。实验还对 q/k 作 $L_2$ 归一化，使用宽度 4 的局部卷积。[Sec.8.3，PDF p.33，Eqs.(94)–(97)]

有一个影响复现的实质不一致：p.31 明确把 $q_t=x_tW_q$ 说成唯一不适应的投影，但更新集合仍含 q，Table 6 又有移除 q 内层投影的消融。可以确定的是模型让关键投影与更新控制适应；v1 对 q 的最终配置需要实现层面的进一步澄清。

### 2.10 分块训练与两种 Hope 实验对象

逐 token 的自指更新需要反复读取新状态，计算昂贵。Sec.8.2 使用 chunk-wise 训练：在块起点固定上一块结束状态，用它并行生成本块的投影、目标与梯度，再进行该块更新。作者对工作记忆和其余投影记忆使用两种 chunk size。[PDF pp.32–33]

这是对更新调度的具体设计，不应把固定块起点计算的梯度与每 token 都重算非线性梯度混为一谈。Eq.(90) 印为 $C\lceil t/C\rceil$，指向当前块末端；文字却说明使用上一块末状态。按文字的因果顺序，块起点应记为 $C\lfloor(t-1)/C\rfloor$。本文按文字解释流程，不推断作者实际代码存在未来信息泄漏。

**Hope-Attention** 用全局 softmax attention 替换自指 Titans，保留 CMS。这让作者可以把预训练 Llama 的 FFN 改造成不同更新频率的记忆，再继续训练。Sec.9.1 的持续学习主要评价这个对象；Sec.9.2 起才评价从头训练的完整 Hope。两者的收益不能全部归因于 self-modifying Titans。

## 三：实验——先分清评价对象与预算

论文实验回答的是多个不同问题，配置不能相互借用。特别是，**Hope 的语言模型实验使用 AdamW；M3 是独立实验中的优化器**。

| 原文小节 | 评价对象与数据 | 主要对照 | 指标与解释 |
| --- | --- | --- | --- |
| 9.1 持续学习 | Llama-3B/8B 改造成 Hope-Attention；类别增量部分明确给出 15B token 继续预训练 | 同样继续训练的 ICL；EWC；InCA；长文任务另有 DuoAttention | 分类/检索准确率↑；QASPER 图中用 PPL↓；新语言翻译用 ChrF↑ |
| 9.2 长上下文 | Hope 从头训练；约 50B token，FineWeb-Edu 与长文混合，32K 词表，AdamW | 线性/深记忆与 attention；BABILong 另比较微调的小模型和零样本大模型 | NIAH 与 BABILong 准确率↑ |
| 9.3 语言建模 | 760M/30B token 与 1.3B/100B token；各模型单独调学习率 | Transformer++、Samba、RetNet、DeltaNet、RWKV-7、Comba、TTT、Miras、DLA、Titans | WikiText/LAMBADA PPL↓；八项准确率均值↑ |
| 9.4 召回与 MAD | 沿用前节模型与实验设置 | Transformer、RWKV-7、Comba、Titans | 六项短上下文任务分数↑；合成压缩/复制/记忆任务分数↑ |
| 9.5 形式语言 | 沿引用基准构造；包括 Parity、重复模式与计数语言 | LSTM、Transformer、Linear、DeltaNet、SRWM | 各语言两个分桶 Bin0/Bin1 的准确率↑ |
| 9.6 消融 | 逐项移除 DGD、动量、衰减、CMS 或内层投影 | 完整 Hope | 平均 PPL↓、平均推理准确率↑；上下文长度曲线 |
| 9.7 优化器 | ViT 24M/86M，ImageNet-21K；另测 140M/1.3B Transformer 训练时间 | 质量：AdamW、Muon；耗时：Muon、AdaMuon | Train/Test loss↓；总训练时间↓ |

这里的参数量和 token 数是作者的比较口径，论文没有同时给出完整 Hope 与 Transformer 的等 FLOPs、等峰值内存、等训练墙钟比较。对在线适应方法来说，状态和反向更新成本会影响实际部署取舍。[Secs.9.1–9.7，PDF pp.34–40]

## 四：结果——哪些机制得到支持，代价在哪里？

### 4.1 持续学习：CMS 的直接证据

**类别增量。** CLINC、Banking、DBpedia 分别覆盖多域意图、银行意图和百科主题分类。作者将原文标作 Llama-3B 与 Llama3-8B 的模型改造成可适应的多频率 FFN，并继续预训练 15B token；ICL 对照接受同样 token 预算，FFN 保持原样。EWC 用参数约束减少遗忘，InCA 则借助外部学习器。[Sec.9.1，PDF p.34]

![图6：CLINC 类别增量学习](figures/fig06-clinc.png)

原图 Fig.6 左面板，PDF p.33。横轴是 3B/8B 模型组，纵轴为准确率；每组依次比较 ICL、EWC、InCA、Hope。Hope 在三份数据的两种模型规模中都最高。这里只展示 CLINC，另外两个面板见 [Banking](figures/fig06-banking.png) 与 [DBpedia](figures/fig06-dbpedia.png)。图中没有逐柱数字标注，因此不把读图估计写成精确测量。

这组结果支持“改变 FFN 的适应和知识保留机制有帮助”。由于是在预训练骨干上添加 CMS，其直接证据主要指向 Hope-Attention；不能据此单独测出自指 Titans 的贡献。

**层数与更新尺度。** Fig.7 分别评价 RULER 的多 key 检索、LongHealth 临床长文问答、QASPER 论文问答。LongHealth 使用 200 个采样问题；QASPER 以论文全文作为上下文，但图中报告的是困惑度，不能解释成问答正确率。[PDF pp.34–35]

![图7：记忆层数对多 key 检索的影响](figures/fig07-niah-levels.png)

![图7：记忆层数对 QASPER 困惑度的影响](figures/fig07-qasper-levels.png)

原图 Fig.7 左、右面板，PDF p.34。横轴都是 Memory Levels；前者纵轴准确率越高越好，后者 PPL 越低越好。红色系列区分作者标为 “Lowest Freq = 512 / 2K / 8K” 的三组配置；蓝色虚线为 ICL，橙色虚线为 DuoAttention。增加层级整体改善结果，512 组性能最好，2K 接近而被作者认为更高效。[LongHealth 面板](figures/fig07-longhealth-levels.png) 也呈现类似趋势。

这几个数值的命名需保留原文限定：图例称其为频率，正文又用类似 chunk/update interval 的效率逻辑解释它们，没有清楚统一单位。最稳妥的读法是按原标签比较三组配置，避免把 2K 直接解释成每单位时间更新 2048 次。

**顺序学习新语言。** CTNL 将 MTOB 的 Kalamang 与 Manchu 任务组合：一种设置各学各测，另一种设置先顺序学习两种语言，再测试翻译到英语。Hope-1/2/3 分别增加 1/2/3 个记忆层级，ChrF 衡量字符 n-gram 翻译相似度，越高越好。[Sec.9.1，PDF p.36]

![图8：两种新语言的持续翻译](figures/fig08-translation.png)

原图 Fig.8，PDF p.35。横轴是 Manchu→English ChrF，纵轴是 Kalamang→English ChrF；越靠右上越好。红点表示分别学习，蓝点表示顺序学习。ICL 的蓝点明显退到左下，增加 CMS 层级后蓝点逐步向右上移动，Hope-3 接近分别学习时 ICL 的水平。这支持多时间尺度减少此次顺序任务的干扰；评价目标是给定协议下的新语言学习与保留。

### 4.2 长上下文：压缩记忆的收益与精确检索缺口

**RULER / NIAH。** 这组模型使用约 50B token 从头训练，与上一组预训练 Llama 改造实验不同。表中 S-NIAH 的三种 needle 是 passkey、数字、UUID；MK、MQ、MV 分别增加 key、query 或 value 的数量。[Sec.9.2，PDF p.36；Table 1，p.35]

下面选取 16K 的关键列，均为准确率（%）↑：

| 模型 | Passkey | 数字 | UUID | 多 key | 多 query | 多 value |
| --- | ---: | ---: | ---: | ---: | ---: | ---: |
| Transformer | 79.8 | 94.2 | 40.8 | 61.4 | 29.8 | 21.5 |
| Hope-Attention | 100.0 | 94.4 | 42.4 | 60.8 | 30.6 | 24.8 |
| RWKV-7 | 99.6 | 12.6 | 5.8 | 9.6 | 8.6 | 6.8 |
| Comba | 99.4 | 13.4 | 7.4 | 8.2 | 6.4 | 7.2 |
| DLA | 44.0 | 28.2 | 4.0 | 11.8 | 6.4 | 9.6 |
| Titans | 100.0 | 75.4 | 21.2 | 8.2 | 9.4 | 8.2 |
| **Hope** | **100.0** | **78.2** | **24.8** | **14.8** | **14.2** | **11.4** |

来源：Table 1，PDF p.35。Hope 在这个 16K 切片上领先表中其他无 attention 基线，但多 key 检索为 14.8，对比 Transformer 的 61.4，差距仍大。复杂关联的精确保存，是有限压缩记忆的突出弱项。

正文说 Hope 在所有任务、难度上最好，实际 Table 1 有例外：4K 数字检索 Hope 为 99.2、Titans 为 99.6；4K UUID 为 73.2 对 74.2。Hope-Attention 也并非每格都优于 Transformer，例如 16K 多 key 为 60.8 对 61.4。更准确的结论是长序列多数设置改善，而非逐项支配。

**BABILong。** 这项任务把需要推理的事实埋在长篇干扰文本里，更看重是否保留回答所需的关系。论文沿基准流程微调 Hope、Titans、ARMT、RMT 等小模型，同时绘出 GPT4、GPT4o-mini、Llama 等零样本曲线及 RAG 基线。[PDF pp.36–37]

![图9：BABILong 的长序列结果](figures/fig09-babilong.png)

原图 Fig.9，PDF p.35。横轴为序列长度，从 K 级延伸到 10M；纵轴是准确率。红色是任务微调模型，蓝色是零样本/RAG 对照，必须先按协议区分，再比较曲线。Hope 在 10M 处仍处于较高水平，Titans 与 ARMT 在最长区间下降更明显。作者也明确指出，这些小模型没有微调时可能明显退化。

这组结果表明，经过任务适配的记忆可以从极长输入中保留稀疏相关信息。它没有测量“把 10M token 全部无损装进固定状态”，也没有建立 Hope 与前沿通用模型在相同训练、推理成本下的比较。

### 4.3 语言建模：两个规模下的主要结果

下表保留强对照与关键指标。PPL 是困惑度，越低越好；Avg. 是 LAMBADA、PIQA、HellaSwag、WinoGrande、ARC-e、ARC-c、SIQA、BoolQ 八项准确率列的平均值，HellaSwag 与 ARC-c 使用原表的 acc_n 口径。[Table 2，PDF p.37]

| 规模 / token | 模型 | WikiText PPL↓ | LAMBADA PPL↓ | Avg.↑ |
| --- | --- | ---: | ---: | ---: |
| 760M / 30B | Transformer++ | 24.18 | 24.27 | 50.11 |
| 760M / 30B | Samba | 21.07 | 22.85 | 51.46 |
| 760M / 30B | Miras (Memora) | 22.28 | 22.31 | 51.53 |
| 760M / 30B | Titans | 20.08 | 21.52 | 51.68 |
| 760M / 30B | **Hope** | **18.68** | **20.07** | **52.28** |
| 1.3B / 100B | Transformer++ | 17.92 | 17.73 | 53.38 |
| 1.3B / 100B | Samba | 16.15 | 13.21 | 54.46 |
| 1.3B / 100B | Miras (Memora) | 15.90 | 12.04 | 55.76 |
| 1.3B / 100B | Titans | 15.60 | 11.41 | 56.82 |
| 1.3B / 100B | **Hope** | **14.39** | **10.08** | **58.04** |

在 1.3B 下，Hope 相对 Titans 的 WikiText PPL 下降 **7.76%**，平均准确率提高 **1.22 个百分点**；相对 Transformer++ 的平均准确率提高 **4.66 个百分点**。760M 时相对 Titans 的平均准确率优势为 **0.60 个百分点**。两个规模同时改变参数量与训练 token 数，因此不能只由优势扩大推导纯参数 scaling law。

收益主要体现在整体平均与语言建模，并非每个任务都最好：1.3B Hope 的 BoolQ 为 61.4，低于 Samba 的 63.0。另有一个表格细节：760M TTT 行印出的 Avg. 为 47.32，但其八项显示值的算术平均为 49.375；这里未使用该不一致的均值作提升基准，它不改变 Hope 在该表的总体排名。

### 4.4 短上下文召回与 MAD：两种不同的能力面

自然数据上的短上下文召回结果如下。Table 3 没有为各列统一标注 EM/F1 等评分细节，因此保留为“任务分数↑”，不将六列一律改称分类准确率。[Sec.9.4，PDF p.38]

| 模型 | SWDE | NQ | DROP | FDA | SQUAD | TQA |
| --- | ---: | ---: | ---: | ---: | ---: | ---: |
| Transformer | **71.4** | **22.0** | **23.9** | **67.3** | **39.4** | **59.1** |
| RWKV-7 | 52.3 | 17.8 | 21.7 | 32.8 | 28.5 | 56.2 |
| Comba | 53.9 | 19.1 | 21.9 | 35.5 | 30.2 | 56.4 |
| Titans | 60.8 | 20.3 | 22.0 | 37.6 | 31.8 | 57.5 |
| Hope | 65.9 | 21.2 | 22.8 | 41.9 | 33.0 | 57.7 |

Hope 在所有列优于这些无 attention 对照，Transformer 在所有列又高于 Hope。其中 FDA 的差距是 **25.4 分**，不能笼统说召回问题已被解决。

MAD 是合成机制任务。Table 4 中，Hope 在压缩、模糊关联召回、选择性复制和记忆任务上取得最好分数；普通 ICR 全部为 100，已经饱和：

| 模型 | 压缩 | ICR | Fuzzy ICR | 选择性复制 | 记忆 |
| --- | ---: | ---: | ---: | ---: | ---: |
| Transformer | 49.4 | 100 | 47.9 | 96.2 | 83.7 |
| Titans | 49.8 | 100 | 50.0 | 99.4 | 83.4 |
| Hope | **51.2** | 100 | **52.1** | **99.7** | **85.2** |

来源：Table 4，PDF p.38。这两张表并不矛盾：内部更新有助于某些压缩与状态操作，完整保存 KV 仍有利于真实任务上的精确读取。

### 4.5 形式语言：状态追踪能力

Table 5 包括非 star-free 正则语言 Parity、$(aa)^*$、$(abab)^*$，以及 $a^nb^n$、$a^nb^nc^n$、Shuffle-2 等计数任务。每项有 Bin0/Bin1 两个分桶；v1 没有在正文展开它们的具体长度区间，因此不补造“外推到多少 token”的说法。[Sec.9.5，PDF pp.38–39]

Hope、LSTM、SRWM 在表中全部得到 100。Transformer 在 Parity 为 46.4/0.0，在两个重复模式为 0.0/0.0；DeltaNet 的 Parity 为 98.2/10.1，两个重复模式也为零。右侧计数任务则所有方法均为 100，区分度来自左侧任务。

这支持自指、非线性循环更新的状态追踪能力。表中把 Hope 标作可并行训练，LSTM/SRWM 标作不可；结合 Sec.8.2，合理理解是 Hope 支持分块训练方案，而不是已经证明同一高性能状态机配置可无代价地做全序列并行。

### 4.6 消融：收益来自多个部件，也存在取舍

| 变体 | 语言建模 PPL↓ | 推理准确率↑ | 相对完整 Hope 的变化 |
| --- | ---: | ---: | --- |
| 完整 Hope | 12.24 | 58.1 | 基准 |
| 无 DGD（换普通 GD） | 13.41 | 56.5 | 两项下降 |
| 无动量 | 13.58 | 56.9 | 两项下降 |
| 无 weight decay | 13.71 | 57.2 | 两项下降 |
| 无 CMS | 13.04 | 57.3 | PPL +0.80，准确率 −0.8 个百分点 |
| k 投影不在内层更新 | 13.77 | 56.9 | 两项下降 |
| v 投影不在内层更新 | 13.90 | 55.1 | 推理下降 3.0 个百分点 |
| q 投影不在内层更新 | **12.19** | 57.4 | PPL 略好，推理下降 |

来源：Table 6，PDF p.39。v 投影的适应在这组准确率消融中影响最大。最后一行也说明“每个部件都贡献收益”不能解释成“每个指标都单调改善”；移除 q 内层更新反而略降 PPL。消融中的平均 PPL 与 Table 2 的单数据集 PPL 不同，不宜互相替换。

![图10：上下文使用量与困惑度](figures/fig10-context.png)

原图 Fig.10，PDF p.39。横轴从 2K 延伸到 32K，纵轴为 PPL；红色为 Hope 及去掉 DGD/CMS 的版本，蓝色为其他模型。更多上下文整体降低 PPL，完整 Hope 在长端最低。这个结果支持模型利用额外上下文，而不是仅仅容纳更多 token。

### 4.7 M3：更好的损失与更高的耗时

质量实验在 24M/86M ViT 上比较 AdamW、Muon、M3；patch size 为 16，MLP 维度分别为 1536/3072，作者说明为各优化器分别调参。[Sec.9.7，PDF pp.39–40]

![图11：24M ViT 的优化器比较](figures/fig11-vit24m.png)

原图 Fig.11 左面板，PDF p.39。横轴 test loss、纵轴 train loss，越左下越好；红星为 M3，蓝点为 Muon/AdamW。24M 上 M3 有较好的 train/test loss 组合。[86M 面板](figures/fig11-vit86m.png) 中 M3 也提供较低测试损失的点，但 Muon 有训练损失更低的点。因此应按两轴的取舍理解，不能说 M3 在所有超参数点、两个指标上都支配 Muon。

![图12：优化器训练耗时](figures/fig12-optimizer-time.png)

原图 Fig.12，PDF p.39。横轴是 140M/1.3B Transformer，纵轴是训练时间（小时）；M3 高于 Muon，与 AdaMuon 接近但略高。多状态记忆与额外变换有计算成本。这个图比较的是**同一个 Transformer 换优化器**，不能当作 Hope 与 Transformer 架构的速度对比。

## 五：结论——最值得带走的设计思想

这篇论文最有用的贡献是把**状态的学习目标、更新频率和知识传递路径**并列为架构设计要素。网络参数、快记忆和优化器状态都在存储不同形式的历史信息，设计时应共同考虑它们的容量与保留时间。相较只讨论 attention 类型，这个视角更直接地触及长期适应的问题。

Hope 展示了两种互补方向：用自生成目标与自适应投影增强快记忆的更新能力；用 CMS 在快适应与慢保留之间增加中间时间尺度。M3 则说明相同思想也可以用于梯度记忆。语言建模、持续分类、新语言顺序学习、长文与合成任务的多组结果支持这些方向。

证据中仍有三个影响采用决策的问题。其一，精确召回与压缩能力存在明显差异，保留完整上下文的 attention 在部分检索任务上仍占优。其二，更多动态状态、内层更新与额外训练需要成本核算；当前比较不足以确定等墙钟或等内存预算下的优势。其三，DGD 推导、q 投影配置、chunk 索引与 M3 伪代码存在上述具体不一致，复现时必须先明确数学目标与最终实现。

作者在 Sec.10 的判断值得保留：有限容量的压缩系统仍然需要遗忘。NL 提供了安排“什么应快速变化、什么应缓慢巩固”的设计语言；它的下一步价值，应由更长任务序列上的知识保留、恢复能力以及匹配成本的实验来衡量。[PDF p.40]