# Pretraining Recurrent Networks without Recurrence：中文研读笔记

- **作者**：Akarsh Kumar、Phillip Isola（MIT）。
- **方法**：监督记忆训练（Supervised Memory Training，SMT）；配套校正阶段为 DAgger Memory Training（DMT）。
- **原文**：[arXiv:2606.06479v2](https://arxiv.org/abs/2606.06479v2)，2026-07-24 修订；[本地 PDF](../source/paper.pdf)。获取与研读日期：2026-10-29。以下页码均为从 1 开始的 PDF 页码，与该版印刷页码一致。
- **发表**：未查到正式发表信息（截至 2026-10-29）；[作者项目页](https://akarshkumar.com/smt/) 标为 Preprint 2026。
- **代码**：[作者官方实现](https://github.com/akarshkumar0101/smt)，包含 SMT、DMT 和基于 Transformer 骨干的 RNN 实现。
- **配套汇报**：[英文幻灯片 PDF](slides.en.pdf) · [可编辑 TeX](slides.en.tex)。

## 论文总览

**这篇论文把“学会保存什么信息”和“学会更新记忆”拆开：先让一个可并行的 Transformer 编码器产生面向未来预测的记忆，再把非线性 RNN 的预训练改写为单步记忆转移的监督学习。**

传统通过时间反向传播（backpropagation through time，BPTT）让 RNN 一边反复更新状态，一边通过很长的计算链学习哪些早期信息值得保留。SMT 则用编码器直接读取过去，并用未来预测目标训练它生成记忆标签；RNN 只需学习 $(m_t,x_{t+1})\mapsto m_{t+1}$。因此，SMT 预训练不必沿时间展开 RNN，也不必把远期损失沿整条 RNN 链传回来。代价是需要训练额外的编码器、解码器，并解决教师记忆与 RNN 自己滚动产生的记忆之间的分布差异。

论文的完整实证方法是 **SMT→DMT**。DMT 用 RNN 自己的状态作为输入，继续模仿教师状态，缓解误差累积；它需要顺序展开。实验在合成任务、TinyStories 字符级语言建模和像素序列建模上显示：Transformer/MLP 骨干的 RNN 比 BPTT 更容易学习长依赖，串行计算效率更高；但 GRU 在这套 SMT 配方下出现记忆塌缩。论文还展示了上下文、状态容量、模型规模的扩展趋势，以及用更多训练计算换取更小记忆的可能性。

这项工作的主要价值是**改变非线性 RNN 的学习目标与信用分配方式**。它提供了一个有实验支撑的预训练方案；实际收益要结合 DMT 的额外阶段、教师的表达能力，以及 SeqFLOPs 的统计口径理解。（Sec. 1–3，PDF pp. 2–9。）

## 结构地图

| 原文章节 | 作用 | PDF 页码与主要证据 |
| --- | --- | --- |
| 1 Introduction | 长期信用分配难题与“表征/动力学”分解 | p. 2；方法总图 Fig. 1 在 p. 1 |
| 2.1 Background | 因果序列建模、RNN 与 BPTT | p. 3；Eq. (1) |
| 2.2 Supervised Memory Training (SMT) | 预测状态、三项损失、联合训练 | pp. 3–4；Eqs. (2)–(5) |
| 2.3 DAgger Memory Training (DMT) | 记忆分布偏移与滚动校正 | pp. 4–5；Fig. 2、Eq. (6)、Table 1 |
| 3.1 Synthetic Task Experiments | 五类受控能力测试 | pp. 5–6；Fig. 3 |
| 3.2 Attneave's Pixel Sequence Modeling | 长距离像素依赖 | p. 6；Figs. 4–5 |
| 3.3 Sequential Compute and Data | 串行计算量和 token 消耗 | pp. 6–7；Fig. 6 |
| 3.4 Scaling Laws | 上下文、记忆与参数规模 | p. 7；Figs. 7–8 |
| 3.5 Compression as a Scaling Axis | 计算量与记忆压缩的交换 | p. 8；Fig. 9 |
| 3.6 Ablations | 未来窗口、联合梯度、损失权重、漂移 | pp. 8–9；Figs. 10、12；Fig. 16 在 p. 23 |
| 3.7 Analysis | 梯度、长度外推、记忆几何 | pp. 9–10；Figs. 11、13–14 |
| 4 Related Works / 5 Discussion | 与蒸馏、并行 RNN、预测状态的关系及局限 | pp. 10–11 |
| A Definitions / B Experiment Details | 指标定义、架构、数据与训练协议 | pp. 20–23；Fig. 15 |
| C Additional Experiments / D Compute Resources Used | 更多样本、状态可视化、算力范围 | p. 23；Figs. 17–23 分布于 pp. 24、27–30 |
| E Sequence to Set Reframing | 带时间戳集合与序列的等价表示 | p. 25 |
| F Encoder Markovian Training | 理想预测状态为何可递推 | p. 26 |

## 一：动机——长期记忆为何难训练

### 1.1 RNN 同时承担两个学习问题

输入为 $\mathbf{x}=[x_0,\ldots,x_T]$，输出为 $\mathbf{y}=[y_0,\ldots,y_T]$，其中 $y_t$ 只能依赖 $x_{\le t}$。RNN 用固定容量的状态表示历史：

$$
m_{t+1}=f_\theta(m_t,x_{t+1}),\qquad
p_\theta(y_t\mid\mathbf{x}_{\le t})
=\operatorname{softmax}(g_\theta(m_t)).
$$

$f_\theta$ 是更新器，$g_\theta$ 是读出器。更新器既要找到有预测价值的历史摘要，又要在每次新输入到来时维护这个摘要。BPTT 把所有时刻连成一个计算图，晚出现的监督信号需要跨过多个更新步骤才能影响早期写入。

一个教学性的链式法则表达是：

$$
\frac{\partial \ell_T}{\partial m_t}
=
\frac{\partial \ell_T}{\partial m_T}
\frac{\partial m_T}{\partial m_{T-1}}
\cdots
\frac{\partial m_{t+1}}{\partial m_t}.
$$

这个雅可比连乘解释了两种困难：前向状态依赖限制时间并行，反向长链可能放大或衰减梯度。门控、残差等结构可以缓解问题，但 SMT 选择直接改变训练图。（Sec. 2.1，PDF p. 3，Eq. (1)；上式为教学展开。）

### 1.2 记忆标签把长程问题变成局部监督

假设存在“理想记忆” $m_t^*$，那么更新器就能在独立样本

$$
(m_t^*,x_{t+1})\longrightarrow m_{t+1}^*
$$

上训练。关键问题变成：谁来生成这些标签，什么样的标签才有用？

作者用**预测状态（predictive state）**回答：记忆应该保留过去中对未来预测有用的信息。一个带位置编码的 Transformer 可以一次读取整个过去窗口，直接构造这样的摘要，从而让远期监督通过编码器—解码器的短路径训练早期信息的表示。

![图 1：BPTT 与 SMT 的训练图](figures/teaser_methods.png)

原文 Fig. 1，PDF p. 1。左侧棕色虚线跨过多次 RNN 更新；右侧通过编码器和解码器到达监督信号，更新器只参与一步状态转移。图中的短路径是相对于时间长度而言；网络层数仍然影响路径长度。

## 二：方法——预测状态、单步动力学与漂移校正

### 2.1 符号、输入和输出

| 符号 | 含义 |
| --- | --- |
| $t,T$ | 当前时刻与序列终点；原文序列索引为 $0,\ldots,T$ |
| $\mathbf{x}^{\mathrm{ctx}}_t$ | 截至 $t$ 的过去输入 |
| $\mathbf{x}^{\mathrm{fut}}_t$ | 从 $x_{t+1}$ 开始的未来输入 |
| $\mathbf{y}^{\mathrm{fut}}_t$ | 从 $y_t$ 开始的预测目标 |
| $\mathcal E_\phi,\mathcal D_\psi$ | 双向编码器、因果解码器 |
| $m_t,\hat m_t$ | 编码器记忆、RNN 预测或滚动产生的记忆 |
| $T_c,T_f$ | 实际使用的过去窗口与未来预测窗口 |
| $\lambda_{\mathrm{dec}},\lambda_{\mathrm{dyn}},\lambda_{\mathrm{unif}}$ | 预测、动力学、均匀性损失的权重 |

容量记号需区分：Table 1 的 $M$ 表示记忆状态大小；附录 B.1 又用 $M$ 表示记忆 token 数。为便于理解维度，这里用 $K$ 表示 token 数、$d$ 表示每个 token 的维度，则 $m_t\in\mathbb R^{K\times d}$。默认 $K=16,d=256$，共 4096 个标量；4096 不是 4096 个记忆 token，也不是字节数。

### 2.2 编码器为何可以双向，解码器为何必须因果

编码器对过去窗口计算：

$$
m_t=\mathcal E_\phi(\mathbf{x}^{\mathrm{ctx}}_t).
$$

它把输入 token 与可学习的 register tokens 拼接，经双向 Transformer 后，取 register 位置作为记忆。双向注意力只发生在**截至 $t$ 的历史内部**，所以没有把相对于 $t$ 的未来泄露给 $m_t$。

解码器接收记忆和教师强制（teacher forcing）的未来输入：

$$
p_{\phi,\psi}(\mathbf y_t^{\mathrm{fut}}
\mid\mathbf x_t^{\mathrm{ctx}},\mathbf x_t^{\mathrm{fut}})
=\prod_{\tau=t}^{T}
p_\psi(y_\tau\mid m_t,\mathbf x_{t+1:\tau}).
$$

虽然训练时整段未来输入一起送入模型，因果掩码保证预测 $y_\tau$ 时只能看到 $x_{t+1:\tau}$。在自回归特例 $x_t=y_{t-1}$ 下，这相当于用已经发生的目标前缀预测下一个目标。它不会直接看到待预测的 $y_\tau$。

未来预测损失为：

$$
\mathcal L_t^{\mathrm{dec}}
=\mathrm{CE}\!\left(
\mathbf y_t^{\mathrm{fut}},
p_{\phi,\psi}(\mathbf y_t^{\mathrm{fut}}
\mid\mathbf x_t^{\mathrm{ctx}},\mathbf x_t^{\mathrm{fut}})
\right).
$$

它要求过去的信息通过固定容量的 $m_t$ 支持多个未来位置的预测，而不是重建过去的全部细节。有限容量和预测目标鼓励压缩，但交叉熵本身并未显式保证状态达到信息论意义的“最小充分统计量”。（Sec. 2.2，PDF pp. 3–4，Eq. (2)；Appendix B.1，pp. 20–21。）

### 2.3 单步动力学同时训练更新器和记忆坐标系

对相邻前缀分别编码得到 $m_t,m_{t+1}$，更新器预测：

$$
\hat m_{t+1}=f_\theta(m_t,x_{t+1}),\qquad
\mathcal L_t^{\mathrm{dyn}}
=\mathrm{MSE}(\hat m_{t+1},m_{t+1}).
$$

动力学损失具有两个作用：让更新器学会递推；让编码器产生**可递推的表示**。两个前缀即使具有相似预测能力，其潜在向量也可能难以通过简单更新对应起来。联合优化会调整这个记忆坐标系，减少这种不一致。

因此，默认 SMT 不是先固定一个预训练教师再单独蒸馏学生，而是**编码器、解码器和更新器联合训练**。动力学梯度可以影响编码器的两个相邻记忆端点；附录中的 detached 消融才切断这些梯度。（Sec. 2.2，PDF p. 4，Eq. (3)；Sec. 3.6，p. 8。）

### 2.4 均匀性损失避免用塌缩状态轻易匹配

若所有记忆都相近，动力学 MSE 很容易变小，却可能丢失有用差异。论文加入：

$$
\mathcal L^{\mathrm{unif}}
=\log\mathbb E_{t_a,t_b}
\exp\!\left(-2\|m_{t_a}-m_{t_b}\|_2^2\right).
$$

在归一化的记忆表示上，最小化它会鼓励样本彼此分散。若所有状态完全相同，距离为 0，这项损失为 0；在论文的归一化统计口径下，更负表示更分散。自然数据实验实际在不同序列的记忆批次上计算这项统计。

总目标是：

$$
\mathcal L^{\mathrm{smt}}
=\lambda_{\mathrm{dec}}\mathbb E_t[\mathcal L_t^{\mathrm{dec}}]
+\lambda_{\mathrm{dyn}}\mathbb E_t[\mathcal L_t^{\mathrm{dyn}}]
+\lambda_{\mathrm{unif}}\mathcal L^{\mathrm{unif}}.
$$

三项分别约束**预测价值、可更新性和表示分散程度**。把其中任何一项压得越低并不必然带来更好的最终 RNN；权重消融体现了这种竞争关系。（PDF p. 4，Eqs. (4)–(5)；pp. 22–23，Fig. 16。）

### 2.5 实际骨干：在固定数量的记忆 token 上做注意力

![图 15：编码器、更新器和读出器](figures/architecture.png)

原文 Fig. 15，PDF p. 21。左侧编码器把过去压入 register tokens，解码器从这些记忆预测未来；中间的更新器只读取旧记忆和当前新 token；右侧读出器从记忆产生输出。

主架构的更新器本身也采用 Transformer，但注意力范围是固定的记忆 token 加一个新输入，不随历史长度增长。因此它仍然是一个 RNN。编码器和该更新器使用 RoPE、RMSNorm，并对输出记忆做 RMSNorm。

另两种更新器是：将记忆展平后与输入拼接的 MLP；把记忆 token 分配给多层 GRU 的门控更新器。GRU 不做输出记忆 RMSNorm，以免破坏其残差结构。所有 RNN 的读出器都基于记忆 token 上的 Transformer。（Appendix B.1，PDF pp. 20–21。）

### 2.6 DMT：在自己会访问到的状态上学习修正

SMT 训练时看到的是教师状态 $m_t$，部署时则看到自己此前产生的 $\hat m_t$。即使每一步在教师状态上的误差很低，偏离教师轨迹后，更新器也可能继续放大误差。正文用

$$
\delta_t=\mathrm{MSE}(\hat m_t,m_t)
$$

描述漂移。DMT 把训练样本从 $(m_t,x_{t+1})\to m_{t+1}$ 改成 $(\hat m_t,x_{t+1})\to m_{t+1}$：

$$
\hat m_{t+1}=f_\theta(\hat m_t,x_{t+1}),\qquad
\mathcal L^{\mathrm{dmt}}
=\mathbb E_t[\mathrm{MSE}(\hat m_t,m_t)].
$$

![图 2：SMT 和 DMT 访问不同的记忆状态](figures/smt_dmt_path.png)

原文 Fig. 2，PDF p. 4。灰色虚线为教师轨迹，绿色为 RNN 更新；SMT 每次从教师状态出发，DMT 从自身滚动轨迹出发并向教师对齐。

DMT 冻结教师编码器和解码器，以较小学习率更新 RNN；输入 token 仍使用真实序列。这里的“on-policy”指**记忆状态来自当前 RNN**，不意味着训练 token 也全部由模型自行生成。DMT 可以允许梯度跨时间传播，因而完整流程不能概括成“训练全程不递归”。

附录 B.3 还有一个重要实现细节：SMT 后把教师解码器权重复制给 RNN 读出器；DMT 中读出器另用下一 token 损失微调，以适应不完美的 RNN 状态。**这个任务损失只更新读出器，不更新状态动力学**。因此教师 decoder 冻结与学生 readout 微调并不矛盾。（Sec. 2.3，PDF pp. 4–5，Eq. (6)；Appendix B.3，p. 22。）

### 2.7 两个理论支点及其假设

**序列可以改写成带时间戳的集合。** 附录 E 令

$$
\{(x_0,0),(x_1,1),\ldots,(x_t,t)\}
$$

表示完整历史。按唯一时间戳排序即可恢复原序列，因此任何序列函数都能表示成这个集合的置换不变函数。这里的不变性是对集合元素的排列不变；改变时间戳当然可能改变结果。

这个证明建立的是信息表示的等价性。构造过程仍会恢复序列并执行原递推，故没有证明任意递归都能由固定深度 Transformer 高效计算。作者明确承认：某些任务需要编码器深度随序列长度增加。SMT 用浅层并行教师获得实用记忆标签，是在所测任务上的经验结果。（Appendix E，PDF p. 25。）

**理想最小充分预测状态可以递推。** 附录 F 假设每个 $m_t$ 都是过去对未来预测的最优、最小充分统计量：

$$
H(\mathbf y_t^{\mathrm{fut}}\mid m_t,\mathbf x_t^{\mathrm{fut}})
=H(\mathbf y_t^{\mathrm{fut}}\mid
\mathbf x_t^{\mathrm{ctx}},\mathbf x_t^{\mathrm{fut}}).
$$

其论证链是：$(m_t,x_{t+1})$ 对下一时刻剩余未来仍充分；$m_{t+1}$ 又是这个预测问题的最小充分统计量，因此可以由 $(m_t,x_{t+1})$ 决定，得到

$$
m_{t+1}=f(m_t,x_{t+1}),\qquad
H(m_{t+1}\mid m_t,x_{t+1})=0.
$$

真正有分量的是“每个时刻、最优、最小、充分”的前提，而非单独的“能预测未来”。文中将理想实现条件概括为足够容量、无限未来窗口和精确优化。实际有限窗口并不满足这组理想条件，交叉熵也没有直接约束最小性，所以联合动力学损失承担显式促进可递推性的作用。（Appendix F，PDF p. 26。）

### 2.8 如何理解并行性与复杂度

按原文 Table 1 的简化口径，固定模型规模、忽略对数项：

| 方法 | 训练是否展开 RNN | 串行操作随 $T$ 的增长 | 主要监督路径 | 推理状态容量 |
| --- | --- | --- | --- | --- |
| BPTT | 是 | $O(T)$ | 远期任务损失经递推链，$O(T)$ | $O(M)$ |
| SMT | 否 | $O(1)$ | 编码器—解码器及单步动态，$O(1)$ | $O(M)$ |
| DMT | 是 | $O(T)$ | 每步直接记忆监督；可选跨时间反传 | $O(M)$ |

SMT 默认只采样一个时间切分点计算损失，Table 1 给出训练内存 $O(M+T_c)$、计算 $O(T_c^2)$；BPTT 为 $O(MT)$ 与 $O(T)$。这些是不同训练工作单元的简化表达，还省略了未来解码、层数、维度和注意力实现等因素。合成任务实际同时训练所有时间点，不能直接套用“单切分点”的内存优势。

表中 DMT 标为 $O(1)$ credit path，适合解释为各状态有直接监督，不必依赖终点任务损失才获得训练信号。若选用跨时间反传，计算图仍包含长递推路径；正文已经允许这种实现。因此“存在短监督路径”和“整个图最长路径恒定”应分开理解。

推理时只需 RNN 更新器、读出器和固定容量记忆；每 token 的成本相对于历史长度为 $O(1)$，但仍依赖记忆大小和模型规模。（Table 1，PDF p. 5；Appendix A，p. 20。）

## 三：实验——比较对象、数据与评价口径

### 3.1 三种图例代表不同模型

| 图例 | 实际计算方式 | 比较角色 |
| --- | --- | --- |
| BPTT RNN | 顺序更新状态，用任务损失经时间反传训练 | 标准训练方法基线 |
| SMT Encoder* | 每次直接编码过去，再由教师解码器预测 | 具有相同记忆瓶颈的教师参考，不是 RNN |
| SMT→DMT RNN | SMT 预训练，DMT 后滚动更新状态 | 论文完整方法 |

更新器使用 Transformer、MLP、GRU 三种骨干；合成任务主要使用 Transformer 骨干。作者将主实验范围限定为非线性 RNN 训练，没有给出对 Mamba、线性注意力模型或常规无瓶颈 Transformer 的全面优劣比较。教师被称为“reference upper bound”，应理解为教师性能参考：长度外推实验本身就显示学生能够超过教师。（Sec. 3，PDF p. 5；Sec. 3.7，p. 9。）

### 3.2 五类合成任务分别隔离哪种能力

| 任务 | 需要学会的运算 | 扫描变量 |
| --- | --- | --- |
| Retrieval | 记住标识符之后的 needle，最终输出；部分标签随机污染 | 序列长度、噪声率 |
| String Copy | 分隔符后逆序输出输入字符串 | 序列长度、记忆容量 |
| Stack Operations | 非零 token 入栈，0 表示出栈并报告弹出的栈顶 | 长度、最大栈深 |
| Keys–Values | 存储键值配对，再按查询键回忆值 | 配对数、键值字符串复杂度 |
| Modular Arithmetic | 从上下文样例归纳 $y=(ax+b)\bmod V$ | $a,b$ 的范围、样例数 |

合成设置取 $T_c=T_f=T$，计算所有切分点的损失；batch 为 32 条序列，送到编码器时扩展为 $32\times T$ 个上下文。只有定义了答案的位置计算预测损失；短前缀/后缀使用 padding 和掩码。该设置与自然数据默认的单切分点采样不同。（Sec. 3.1，PDF pp. 5–6；Appendix B.2–B.3，pp. 21–22。）

### 3.3 自然数据和默认模型

| 数据集 | token 与序列组织 | 训练 / 测试 token 数 |
| --- | --- | --- |
| TinyStories | 字符级，词表 256；串接为长序列 | 1.9B / 19.2M |
| MNIST | $28\times28$ 灰度，逐行扫描，每图 784 token，词表 256 | 47M / 7.8M |
| Sketchy | 缩至 $64\times64$ 并二值化，非重叠 $2\times2$ patch 为 token；每图 1024 token，词表 16 | 69.5M / 7.7M |

默认自然数据训练采用 $T_c=256,T_f=64$，每条序列随机采样一个切分点。损失权重为 $(1.0,0.1,0.001)$；编码器/更新器各 8 层，解码器/读出器各 4 层，隐藏宽度 256、16 个记忆 token，batch 128，SMT 训练 150,000 个优化步骤。

所有方法用 AdamW、weight decay 0.01、全局梯度范数裁剪阈值 1，学习率分别调优。附录把迭代数泛称为“SGD iterations”，实际优化器为 AdamW。图 6 的比较扫描优化步数 $N$、batch $B$、长度 $T$；该图每次运行上限为一张 H200 上的一天。附录 D 对全体实验给出的更宽上限是每次运行 48 小时，并列出超过 375 个合成任务运行和 144 个自然数据运行。（PDF pp. 7、22–23。）

### 3.4 指标如何读

- **Test Loss**：测试预测损失，越低越好。主结果图使用损失而非准确率；不将读图得到的差值写成准确率百分点。
- **Tokens**：训练期间处理的 token 总量，包括重复处理；不等于去重的数据集大小。
- **SeqFLOPs**：计算图关键路径上的串行计算工作量。作者实际用顺序执行的 Linear、LayerNorm 等原子操作数量估计，因此是串行工作代理量；它不是总 FLOPs，也不是秒数。
- **漂移**：方法定义使用 MSE；Fig. 12 为方便跨运行比较使用 $1-R^2$ 型误差，越低表示 RNN 轨迹越接近教师。两者不宜直接按数值混用。
- **$\mathcal L^{\mathrm{unif}}$**：表示分散程度的辅助统计。Fig. 16 的说明给出从 0（塌缩）到约 −4（充分分散）的读图范围；它不是任务准确率。

实验中的曲线与热图没有全部给出数值表。以下标为“约”的数值来自原图读数；精确三位小数来自 Fig. 16 的单元格标注。（Appendix A，PDF p. 20；Figs. 12、16，pp. 9、23。）

## 四：结果——沿论文实验小节解读

### 4.1 合成任务：优势来自更容易学习和维护长程信息

![图 3：五类合成任务](figures/synthetic.png)

原文 Fig. 3，PDF p. 6。五列依次对应检索、复制、栈追踪、关联召回、上下文学习；三行依次是 BPTT RNN、SMT→DMT RNN、教师。颜色表示测试损失，蓝色低、红色高；每一列的横纵轴是不同的任务变量。

**检索**最直接地暴露信用分配问题。在图示长度从 4 扩至 64 的范围内，BPTT 即使在低噪声下也随长度增加而失败；SMT→DMT 对长度更稳定，其误差主要随标签噪声上升。这说明“状态理论上能装下一个值”与“训练能发现应该长期保存它”是两个不同问题。

**字符串复制**显示容量利用的差别。BPTT 在长序列下增加记忆大小仍难降低损失，SMT→DMT 则能更有效利用更大的记忆。**栈追踪**中，SMT→DMT 在更长序列和更深栈的组合下保持较低损失。这里的表现支持它更容易学到状态更新规则。

**关联召回**依然是明显难点。随着键值配对增多、字符串更复杂，SMT→DMT 与教师都出现较高损失，尽管整体优于 BPTT。**模算术上下文学习**中，SMT→DMT 的改善也随规则难度和样例数变化；最难区域仍未全部解决。因此结果宜概括为“在这些扫描中整体更好”，而不是“五类能力全部被解决”。

### 4.2 像素序列：相邻空间位置可能隔着许多时间步

MNIST 被展平后，同一笔画跨行的两个像素在序列中相隔约一行；Sketchy 的结构可能跨越数百 token。黑白背景中的大量重复 token 会掩盖稀疏但关键的笔画信息，所以局部 next-token 模式不能替代长期记忆。

![图 4：MNIST 序列生成](figures/mnist_generations.png)

原文 Fig. 4，PDF p. 6。自上而下是数据样本、BPTT Transformer 骨干、BPTT GRU 骨干、SMT→DMT Transformer 骨干。BPTT Transformer 骨干多生成条纹和局部噪声；GRU 有较好的局部结构，但数字整体仍较差；SMT→DMT 能形成更连贯的数字笔画。更多样本在 Fig. 17，PDF p. 24。

![图 5：Sketchy 序列生成](figures/sketchy_generations.png)

原文 Fig. 5，PDF p. 6，上半为真实样本，下半为生成样本；扩展样本见 Fig. 18，p. 27。生成图呈现手绘笔画和一定的整体轮廓，部分物体仍难辨认，作者在附录 C 也明确指出这一点。这个证据针对长距离笔画结构建模，不能转述为清晰物体生成已经解决。

### 4.3 串行计算与数据效率：架构和数据集改变结论

![图 6：串行计算与数据效率](figures/seqflops.png)

原文 Fig. 6，PDF p. 7。左半是 TinyStories，右半是 MNIST；每半的三列分别为 Transformer、MLP、GRU 更新器。上行横轴为 SeqFLOPs，下行为处理 token 数，均为对数坐标；纵轴损失越低越好。红色是 BPTT，绿色是 SMT→DMT，蓝色为教师；淡点是运行结果，实线给出表现前沿，星号标记各 RNN 方法的最佳损失。

| 设置 | 串行计算维度 | 数据维度 |
| --- | --- | --- |
| TinyStories，Transformer/MLP | SMT→DMT 的低损失前沿整体更好 | 大体接近 BPTT |
| MNIST，Transformer/MLP | SMT→DMT 更有效达到较低损失 | SMT→DMT 也有明显优势 |
| GRU | SMT→DMT 未表现出相同优势，MNIST 中明显失败 | 教师较好不代表 GRU 学生能成功 |

以图中最佳点作粗略读数，Transformer 骨干的 TinyStories 损失约从 BPTT 的 0.76 降到 SMT→DMT 的 0.53；MNIST 约从 0.72 降到 0.39。它们是**扫描中各自的最佳点**，不是固定相同 token 预算下的一对实验，所以不据此计算统一“提速倍数”或公平预算下的相对提升。

作者将两类数据的差异解释为：字符语言的平均预测损失中局部信息仍占很大作用，稀疏像素序列更强地依赖长距离结构。这与观察相符。GRU 的失败则说明，通用的监督形式不代表所有状态参数化都容易联合训练；论文将失败归因于 SMT 期间记忆空间塌缩。（Sec. 3.3，PDF pp. 6–7。）

### 4.4 扩展规模：更长上下文、更大记忆和更多参数

![图 7：TinyStories 的上下文与记忆容量扩展](figures/memory_Tc_scaling.png)

原文 Fig. 7，PDF p. 7。横轴 $T_c$ 从 16 增到 512；颜色区分容量 256、512、1024、2048、4096 个标量。更长上下文与更大状态整体降低测试损失，但收益逐渐变小。例如容量 4096 的曲线，$T_c=16$ 时约 0.75，$T_c=256$ 时约 0.54，继续到 512 改善很小。较小状态即便看见更多历史，也受压缩容量限制。

![图 8：TinyStories 的模型参数扩展](figures/model_scaling.png)

原文 Fig. 8，PDF p. 7。左为教师，右为 SMT→DMT RNN；横轴模型参数量，颜色区分宽度 64、128、256、512，深度也参与扫描。两者随规模增加总体改善，学生在较大规模时更接近教师。作者把教师曲线称为近似幂律趋势，但没有给出可以外推到任意大规模的统一拟合指数。

### 4.5 压缩也能成为训练计算的收益

![图 9：固定预测损失下的计算—记忆交换](figures/compression_scaling.png)

原文 Fig. 9，PDF p. 8。横轴为训练总 FLOPs，约覆盖 $10^{14}$ 到 $1.87\times10^{15}$；纵轴记忆大小从 256 到 4096；颜色及黑色等高线表示测试损失。沿一条等损失线向右，可以在增加计算时向下移动到更小的状态。

关键是该图测量的是 **SMT 训练的编码器模型**。它说明更充分的训练能用更少的状态维度保存同等预测信息；最终 RNN 能否在相应小状态下稳定维持这种质量，还取决于动力学拟合与滚动校正。这一观察为“多花预训练计算、减少部署状态”提供了方向。

### 4.6 消融：短未来监督为什么还能工作

![图 10：未来窗口与联合训练](figures/needle_Tf_sweep.png)

原文 Fig. 10，PDF p. 8。任务长度 $T=64$；横轴未来窗口 $T_f=1,2,4,\ldots,64$，纵轴为最终 SMT→DMT RNN 损失。detached 设置不让动力学损失更新编码器；joint 设置允许。

当 $T_f=64$，教师的预测目标直接覆盖最终答案，两种设置均可学会检索。当 $T_f$ 很小时，早期记忆的直接预测目标没有最终答案；detached 失败，但 joint 即使 $T_f=1$ 仍能成功。

作者提出的解释是**信用在优化步骤之间逐渐向前传播**：较晚状态因答案监督变得有信息，下一轮动力学拟合推动较早状态也保留这条信息，经过多轮训练形成长程记忆。正文进一步提出 $T_f=1$ 时至少需要 $T$ 个梯度步骤的传播图景；这是作者的机制解释，图 10 本身没有测量或证明一个对共享参数网络普遍成立的迭代下界。

因此，$O(1)$ 的单次计算图路径与跨多个优化步骤逐渐形成长程能力可以同时成立；短窗口下的成功不能全部归因于“一次反向就直接连到最终答案”。

### 4.7 消融：损失权重是在预测质量与表示分散之间取舍

Fig. 16 的纵轴为 $\lambda_{\mathrm{dyn}}$，横轴为 $\lambda_{\mathrm{unif}}$；每格上方是最终 RNN 损失，下方是均匀性损失。下面直接摘取单元格数值，未做曲线估计：

| 数据集 | $\lambda_{\mathrm{dyn}}$ | $\lambda_{\mathrm{unif}}$ | RNN Test Loss ↓ | $\mathcal L^{\mathrm{unif}}$ |
| --- | ---: | ---: | ---: | ---: |
| TinyStories | 0.1 | 0.001 | 0.567 | −3.294 |
| TinyStories | 0.01 | 0.003 | **0.565** | −3.682 |
| TinyStories | 0.1 | 0 | 0.569 | −2.763 |
| TinyStories | 10 | 0.1 | 2.713 | −3.942 |
| MNIST | 0.1 | 0.001 | 0.516 | −3.618 |
| MNIST | 0.1 | 0 | **0.507** | −1.273 |
| MNIST | 10 | 0 | 0.521 | −0.058 |

来源：原文 Fig. 16，PDF p. 23；正文讨论在 p. 8。

正文称最佳 RNN 需要 $(0.1,0.001)$，但图中 TinyStories 最低标注值是 $(0.01,0.003)$ 的 0.565，MNIST 最低值是 $(0.1,0)$ 的 0.507。因此推荐配方应理解为兼顾预测和状态几何的选择，而非每个数据集上的严格最优组合。

均匀性过强时，表示虽然充分分散，任务损失却可能很差；完全关闭它时，预测有时仍好，但表示更集中，特别是在较大动力学权重下。图中无均匀性项也不总是达到完全塌缩的 0 值，这比正文“一关闭就塌缩”的简写更细致。

### 4.8 消融：单步误差并不能决定长期漂移

![图 12：DMT 对漂移和预测质量的影响](figures/drift_analysis.png)

原文 Fig. 12，PDF p. 9。左图横轴为滚动时间、纵轴为 $1-R^2$ 型漂移；蓝色为 DMT 前，绿色为 DMT 后。中图比较预测损失，连线对应同一运行微调前后；右图以双对数轴比较单步误差和滚动误差，图中相关系数分别为 0.50 和 0.45。

DMT 前很多轨迹快速偏离教师；DMT 后，误差更常在较低水平形成平台。部分运行刚开始的误差反而增大，但长期结果更稳定。中图显示这种变化伴随预测损失显著改善，右图说明单步拟合质量只能部分解释滚动误差。

一个有助于理解的教学界为：若更新器在邻域内对状态的 Lipschitz 常数为 $L_t$，教师状态上的一步拟合误差为 $\epsilon_t$，则状态误差可能满足

$$
\|e_{t+1}\|\le L_t\|e_t\|+\epsilon_t,\qquad
e_t=\hat m_t-m_t.
$$

即使 $\epsilon_t$ 小，偏移状态附近的动态也会影响误差是否被放大。DMT 在偏移状态上训练，因而能够改善滚动行为。这个不等式用于解释机制；论文没有测量或证明 DMT 会使 $L_t<1$。

### 4.9 分析：梯度、长度泛化与记忆几何

**梯度路径。** Fig. 11（PDF p. 8）在检索任务初始化时，画出不同时间位置的记忆梯度范数和不同权重初始化。BPTT 曲线可随距离跨越多个数量级、出现爆炸或消失；SMT 的曲线随时间更平稳。这是固定实验条件下对短路径机制的直接支持，避免把长递推链放入信用分配图是关键。

**长度外推。**

![图 13：栈状态追踪的长度外推](figures/seqlen_generalization.png)

原文 Fig. 13，PDF p. 9。虚线是训练长度 64，横轴测试长度延伸到 512，纵轴测试损失。训练范围内教师更好；长度 512 时，教师损失约 0.39，RNN 约 0.16。这个结果展示了学生的递归归纳偏置可以在更长序列上超越教师，也说明教师不是所有分布下的性能上界。这里的任务是合成栈追踪，不能直接解释为自然语言的无限上下文能力。

**记忆几何。**

![图 14：二维记忆中的状态与转移](figures/memory_space.png)

原文 Fig. 14，PDF p. 10。横纵轴是真实的二维记忆坐标；黑点为编码器状态，黑箭头为状态转移，灰色箭头为固定输入 token 下的更新向量场。前两列为不同 needle 数量的检索，第三列为字符串复制。

检索可以把许多不同历史合并到同一个状态：尚未遇到标记、下一 token 是 needle、已经记住某个 needle 值。忽略后续无关 token 不会损失任务信息，形成有限状态机式行为。字符串复制必须区分更多前缀，因此呈现树状记忆结构。这里也可看清“任务无关历史被合并”与“所有有用状态塌缩到一起”的区别：前者是有目的的压缩，后者会损害预测。

自然图像的记忆可视化在 Figs. 19、21–23（PDF pp. 28–30）：把高维记忆投影到 PCA/t-SNE 后，显示它沿输入序列形成结构化轨迹。颜色是投影坐标的显示方式，不能直接读作可解释的语义变量。Fig. 20（p. 28）对 Attneave 猫图提供不同长度的已知上半部分，输入越多，生成的下半部分通常越连贯；少量上下文下仍有大量形状偏差。

## 五：结论——如何理解和使用这项工作

### 5.1 核心贡献是改变信用分配的载体

SMT 把长距离监督装进可并行产生的**中间状态标签**，使非线性更新器可以通过局部转移学习。未来预测决定记忆应该包含什么，动力学拟合决定这些信息如何被持续更新，DMT 再把这种更新迁移到学生实际会访问的状态上。

与常见输出蒸馏相比，监督对象是记忆转移；与仅给 RNN 加未来预测辅助损失相比，标签由不展开 RNN 的教师产生；与用数值求解器并行近似原递归相比，它改变了学习目标与信用分配结构。论文 Sec. 4 特别讨论了同期 NextLat：两者都监督潜在状态，但 SMT 将单步非线性 RNN 训练作为中心问题。（PDF pp. 10–11。）

### 5.2 最重要的实际边界

**完整流程仍有顺序阶段。** 主要质量结果来自 SMT→DMT，DMT 训练和 RNN 部署推理都要递归。SMT 的并行预训练收益并不自动等于端到端训练的同倍数收益。

**教师限制了可学到的记忆。** 带时间戳集合保留了全部信息，但固定深度教师仍可能算不出需要深层顺序计算的状态。作者把 SMT 定位为预训练，并提出用 BPTT 等后训练进一步超越教师；这部分潜力不能当成已经完成的大规模推理实验。

**状态参数化与稳定性仍需选择。** GRU 失败、单步误差与滚动误差相关性有限，说明“能写出监督损失”与“能训练出稳定递归”之间还有距离。更好的单步训练准则，应同时考虑预测价值、可更新性及偏移状态附近的行为。

**规模证据来自所测序列任务。** TinyStories 是字符级语言建模，图像实验是序列化稀疏像素；训练上限和参数扫描仍属于该论文报告的研究规模。结果支持继续扩大训练，而没有提供通用大模型预训练替代方案的全面评测。

### 5.3 后续研究中最值得追问的三个问题

1. **能否减少 DMT 的串行代价？** 在 SMT 阶段有控制地扰动记忆、监督多步一致性或约束局部动力学，是否能同时保留并行性和长期稳定性？这是本次分析提出的方向。
2. **怎样选择未来窗口和状态容量？** Fig. 10 表明过短窗口会把信用分配压力转移到优化迭代；Figs. 7、9 又显示上下文、计算和容量可以交换。应联合评价质量、总训练成本和部署状态，而非只扩大某一个量。
3. **什么后训练能真正超越教师？** 长度外推已展示学生的归纳偏置优势；对于教师难以表达的顺序计算，还需用明确的任务和监督验证后训练是否释放了 RNN 的额外能力。

这篇论文提供的具体启发是：设计长期记忆系统时，可以先学习一种“对未来有用且可更新”的状态表示，再训练维护它的动态过程。衡量成功的关键应同时包括未来预测、滚动稳定性和所需串行训练成本。