# Understanding and Improving Length Generalization in Recurrent Models：中文研读笔记

**作者**：Ricardo Buitrago Ruiz、Albert Gu（Carnegie Mellon University / Cartesia AI）  
**版本**：arXiv:2507.02782v2，2025-10-12 修订；本次研读与获取日期：2026-10-12  
**原文**：[arXiv v2](https://arxiv.org/abs/2507.02782v2) · [本地 PDF](../source/paper.pdf) · [英文汇报 PDF](slides.en.pdf) · [可编辑 TeX](slides.en.tex)

## 论文总览

循环模型能够把递推计算一直运行下去，却可能在超过训练长度后突然变得不会预测。本文把这一现象解释为**状态分布外推失败**：短序列训练总从零状态出发，模型只熟悉递推早期的状态；长序列产生的状态虽然由同一个模型计算得到，却落在训练没有充分覆盖的分布上。

作者提出“未探索状态假说”（unexplored states hypothesis），用按位置困惑度、输出分布敏感性和状态统计量串起证据，再比较四种训练时的初始状态干预。效果最稳健的 State Passing（SP，状态传递）把另一段序列的末状态作为当前序列的初态，并以 0.1 的概率恢复零初始化。模型因此在短训练片段内学习处理更丰富的状态，推理时仍可从零状态正常开始。

主要结果需要按实验区分：

- **语言建模的干预对照**：Mamba-2 370M、780M、1.3B 经过 100 步 SP 或 TBTT 后训练，按位置困惑度在测到的 32k 范围内保持稳定。拟合高斯噪声改善前两者，但未修复 1.3B。见 Fig. 5，PDF p. 7。
- **更长的跨架构评估**：Fig. 1 中，Mamba-2 和 GLA 使用 500 步，Mamba-1 使用 1000 步 SP；曲线延伸到约 128k。Mamba 的原训练上下文为 2048，GLA 为 512。摘要的“500 步、约 0.1% 预训练预算、2k→128k”不能套到所有实验。见 Fig. 1，PDF p. 2。
- **真实远距离利用**：Mamba-2 780M 在仅用 2048 长度样本做 1000 步拟合噪声任务微调后，在报告的 256k passkey 网格上达到 100% 准确率。BABILong 与随机复制也有所改善，其中复制字符准确率从 $0.27\pm0.03$ 提升到 $0.47\pm0.11$。见 Sec. 5、Fig. 6–7、Table 1，PDF pp. 9–10；Appendix B，p. 17。

这篇论文最有启发性的地方，是把“上下文长度”问题转化为“训练时见过什么状态”问题。它提供的是由多组干预支持的机制解释和低预算适配方法；核心假说没有被证明为一般性的必要充分条件。

## 结构地图

下文页码均为从 1 开始的 PDF 页码，本版本与印刷页码一致。

| 原文章节 | 作用 | PDF 页码与关键证据 |
| --- | --- | --- |
| 1 Introduction | 研究问题、假说及跨架构概览 | pp. 1–3，Fig. 1 |
| 2 Preliminaries | 序列记号与线性状态递推 | p. 3，Eq. (1) |
| 3 Analyzing the Length Generalization Failure of Recurrent Models | 定义、训练因素、Effective Remembrance、状态分布假说 | pp. 3–6，Definitions 3.1–3.3，Figs. 2–4，Eqs. (2)–(3) |
| 4 Training Interventions to Enable Length Generalization | 非零初态公式、四类干预 | pp. 7–9，Fig. 5，Eqs. (4)–(6) |
| 5 Performance of Interventions on Long Context Tasks | BABILong、passkey、随机复制 | pp. 9–10，Figs. 6–7，Table 1 |
| 6 Related Work；7 Conclusion and Future Work | 与已有 SP/TBTT、Mamba 长度扩展工作的关系 | p. 11 |
| A Extended Related Work；B Training recipes | Transformer/算法外推背景、训练和任务微调配方 | pp. 16–17，Table 2，Fig. 8 |
| C Distribution of the State at Given Heads and Layers Over Time；D Position-wise Perplexity for RWKV-v6 | 分头状态统计及第四类架构 | pp. 17–18，Figs. 9–10 |
| E Impact of the Warm-Up Period on Length Generalization；F Impact of the Standard Deviation on the Random Gaussian Initial State Intervention | warm-up 与噪声幅度消融 | pp. 19–20，Figs. 11–12 |
| G Ablation on the Choice of Distance for Effective Remembrance | 输出距离度量消融 | p. 20，Fig. 13 |
| H Derivation of SSM Equations for Non-Zero Initial State；I State Passing Pytorch Pseudocode | 递推展开与实现 | pp. 20–21，Fig. 14 |

## 一：动机——能运行更长，不代表能正确处理更长

### 1.1 固定大小状态为什么仍会出现长度失效

SSM 与线性注意力把历史压缩进状态，序列长度增加时只需要继续更新状态。对于固定模型尺寸，序列处理的计算量随长度线性增长，递归解码状态不随已读 token 数线性增加。这给出了计算层面的可扩展性，但没有约束模型进入长序列后的状态分布。

一个关键现象是：如果模型只用最近的训练长度窗口来预测，它至少有机会维持短上下文水平；实际循环模型却可能连这一点也做不到，因为早先 token 的影响留在状态中，妨碍了近期上下文的处理。作者因此同时追问“状态发生了什么变化”和“这种变化如何影响最终输出”。见 Secs. 1、3.4，PDF pp. 1–2、5。

### 1.2 本文贡献与已有工作的分界

相关方法会跳过部分 token 的状态更新、强制遗忘、调整 Mamba 的离散化参数，或直接用更长序列训练。本文关注训练分布：保持模型的推理递推形式，通过改变训练初态来更新权重。

**SP 和 TBTT 本身并非本文首次提出。** Sec. 6 已明确指出 LongSSM 等工作讨论过零初态、短序列过拟合及 SP/TBTT 预训练。本文新增的价值主要在于：给出统一的状态分布解释，提出适用于自回归模型的 Effective Remembrance，比较初态分布的逼真程度，并展示少量后训练即可修复多个现有循环模型。见 Sec. 6，PDF p. 11。

## 二：方法——把初始状态变成训练分布的一部分

### 2.1 递推模型与符号

原文从单通道的状态空间模型出发：

$$
h_t=A_t h_{t-1}+B_t x_t,\qquad y_t=C_t^\top h_t.
$$

| 符号 | 含义 |
| --- | --- |
| $x_t,y_t$ | 单通道输入与输出；完整网络包含多通道、多头和多层 |
| $h_t\in\mathbb R^N$ | 在位置 $t$ 更新后的状态 |
| $A_t\in\mathbb R^{N\times N}$ | 旧状态的保留与变换 |
| $B_t,C_t\in\mathbb R^{N\times1}$ | 输入写入与输出读出 |
| $h_{-1}$ | 尚未读入当前序列时的初始状态；常规训练设为零 |
| $T_{\mathrm{train}}$ | 训练片段的上下文长度 |
| $\mathcal D_t$ | 数据序列经过递推后，在位置 $t$ 产生的状态分布 |

不同架构主要改变 $A_t,B_t,C_t$ 的参数化与输入依赖。论文实证覆盖 Mamba-1、Mamba-2、GLA、RWKV-v6；其形式化范围是能写成上述线性状态递推的模型，xLSTM 被作者留在范围之外。见 Sec. 2.2、Eq. (1)，PDF p. 3。

### 2.2 “长度泛化”究竟在测什么

位置困惑度（position-wise perplexity）定义为：

$$
\operatorname{PPL}(t)=\exp\left(\mathbb E_{x\sim\mathcal D}[-\log q(x_t\mid x_{0:t-1})]\right).
$$

应先在相同位置上平均负对数概率，再取指数；它不是把每个样本的困惑度做算术平均。数值越低，预测越好。

原文取训练位置内的最小值 $p^\star$ 及其位置 $t^\star$，将长度泛化定义为：从 $t^\star$ 到更长测试终点 $T$，位置困惑度都不超过 $p^\star$。这比“没有爆炸”更严格。实验主要用经验曲线展示趋势，轻微上浮和噪声应按曲线实际形状理解，不宜把每条近似平坦曲线都解读成严格满足该定义。见 Definitions 3.1–3.2，PDF p. 4。

这一指标衡量长输入上的预测质量。它本身不要求模型使用非常远的事实，因此 Sec. 5 另测检索、推理和复制。

### 2.3 Effective Remembrance：删除前缀会怎样改变输出

固定预测位置 $T$，分别用完整上下文 $x_{0:T}$ 和只保留的后缀 $x_{t:T}$ 做预测：

$$
\operatorname{EffRem}_T(t)=d\left(q(\cdot\mid x_{0:T}),q(\cdot\mid x_{t:T})\right).
$$

默认距离为总变差（total variation，TV）：

$$
\operatorname{TV}(p,q)=\frac12\sum_{v\in\mathcal V}|p(v)-q(v)|\in[0,1].
$$

这里 $t$ 是**被保留后缀的起点**，被删掉的是 $[0,t)$。计算后缀分支时从模型正常初态重新处理后缀。高值说明前缀的存在显著影响最终预测，不能单独说明影响是正确记忆还是有害干扰。

例如，教学用的两类输出分布 $(0.9,0.1)$ 与 $(0.6,0.4)$ 的 TV 为 $0.3$。这量化的是输出改变幅度，没有使用答案标签，也没有直接计数模型能存储多少事实。

Fig. 1 的实线为基线、虚线为 SP 后训练模型。失效的 Mamba-2 在删去很早的一小段前缀后，输出就会大变；SP 后这一异常影响减弱。GLA 的变化更集中在距离最终位置约 512 token 的区域，说明架构的有效上下文形态仍然不同。见 Sec. 3.4、Eq. (2)、Fig. 1，PDF pp. 2、5。

数学上只能保证 $\operatorname{EffRem}_T(0)=0$ 和 TV 的范围；曲线不必单调，$t\to T$ 时也不必等于 1。作者对自然文本的预期形状是经验直觉。另，原文 Eq. (3) 把第二个概率项误排为 $q(x')$，上式按其明确说明的 TV 定义写成同一词项上的两分布之差。

### 2.4 未探索状态假说

令 $X$ 为数据序列，则作者用 $\mathcal D_t:=h_t(X_{0:t})$ 表示状态的分布。零初态、长度为 $T_{\mathrm{train}}$ 的训练只让模型在早期位置的状态上学习；更长位置的状态虽然“可达”，却可能偏离这些分布。

在输入 token 的边际分布随位置近似稳定的情形下，状态漂移成为值得单独分析的因素。由此产生两个预测：更长训练片段应帮助覆盖状态；如果能用合适初态直接进入这些状态附近，短片段训练也应有效。四类干预就是对第二个预测的检验。见 Sec. 3.6，PDF p. 6。

一个教学例子能说明区别：对于 $h_t=0.9h_{t-1}+1$，零初态下前两步只到 $1,1.9$，长期却趋近 $10$。如果训练片段只有两步，读出模块可能只熟悉靠近零的区域；从 $h_{-1}=8$ 出发，同样两步便会见到 $8.2,8.38$。这只是解释“短片段也能覆盖晚期状态”的例子，论文没有用这组数字做实验。

### 2.5 非零初态为什么容易接入现有递推

展开 Eq. (1)，原文得到：

$$
h_t=\sum_{s=0}^t A_{s+1:t}^{\times}B_sx_s+A_{0:t}^{\times}h_{-1},
$$

$$
y_t=C_t^\top\sum_{s=0}^t A_{s+1:t}^{\times}B_sx_s+C_t^\top A_{0:t}^{\times}h_{-1}.
$$

右侧第一部分是原来的零初态结果，第二部分是初态经状态转移后留下的贡献。在给定转移系数的这次递推中，支持非零初态只需要正确加入该贡献；仍可使用并行扫描或相应的分块计算。见 Sec. 4.1、Eq. (4)，PDF p. 7。

对一般矩阵必须约定乘法顺序。明确写成

$$
\Phi(t,s)=A_tA_{t-1}\cdots A_s,\qquad
h_t=\sum_{s=0}^t\Phi(t,s+1)B_sx_s+\Phi(t,0)h_{-1}
$$

即可避免歧义，空乘积取单位矩阵。Appendix H 的中间推导交换了矩阵次序；在一般矩阵情况下不能照搬。作者 Appendix I 的代码明确限于对角 $A_t$，其逐元素乘积没有这个交换次序问题。见 PDF pp. 20–21。

### 2.6 四种初态干预及其设计理由

| 干预 | 当前片段初态从哪里来 | 保留了哪些状态结构 | 主要代价或条件 |
| --- | --- | --- | --- |
| Random Noise | 所有元素独立采样 $\mathcal N(0,\sigma^2)$ | 只有统一噪声尺度 | 需要调 $\sigma$，生成的状态可能不逼真 |
| Fitted Noise | 按层、按头拟合的高斯分布 | 各头的均值、方差 | 忽略状态元素间依赖 |
| State Passing | 打乱序列后，上一批的实际末状态 | 实际递推产生的联合结构 | 需保存末状态，且跨序列初态要适合当前任务 |
| TBTT | 同一长序列前一个连续片段的末状态 | 状态结构与上下文连续性 | 数据加载必须保持片段顺序，片段间截断梯度 |

**Fitted Noise 的具体更新。** 对层 $l$、头 $i$，以末状态的当前统计更新均值和方差：

$$
\mu^{(li)}\leftarrow(1-\beta)\operatorname{Mean}(h_T^{(li)})+\beta\mu^{(li)},
$$

$$
{\sigma^2}^{(li)}\leftarrow(1-\beta)\operatorname{Variance}(h_T^{(li)})+\beta{\sigma^2}^{(li)},\quad\beta=0.1.
$$

平均和方差跨 head dimension 与状态扩展维度 $N$ 计算，然后各元素独立采样。这里**当前观测权重是 0.9，旧统计权重是 0.1**，不要按常见 EMA 记法把二者颠倒。原文没有完全展开 batch 维的聚合实现。见 Eqs. (5)–(6)，PDF p. 8。

**SP 与 TBTT 的关键区别。** SP 不要求上一个片段与当前片段语义连续；TBTT 维持同一长序列的顺序。二者效果接近，支持“可达状态覆盖本身很重要”的解释。SP 的末状态可以来自已经继承过更早状态的片段，因此其前向状态历史可逐批延长，而梯度只在当前片段内传播。作者将二者的实现差别概括为是否打乱序列和是否维护连续采样器。见 Secs. 4.4–4.5，PDF pp. 8–9。

SP 还以概率 $p=0.1$ 清零初态，使模型继续适应没有历史的序列开头。下面是教学整理的训练流程，突出数据流，不是作者提供的完整训练程序：

```text
cached_state = zeros
for batch in shuffled_short_sequences:
    initial_state = stop_gradient(cached_state)
    initial_state = randomly_reset_to_zero(initial_state, probability=0.1)
    predictions, final_state = model(batch, initial_state)
    loss = next_token_loss(predictions, batch)
    update_model_using_this_chunk(loss)
    cached_state = stop_gradient(final_state)
```

**训练与推理的区别。** Gaussian 初态只在训练时加入，验证仍从零开始；在验证开头加入噪声会损害最初 token。SP/TBTT 的效果保存在更新后的权重里。一个新的独立推理序列正常清零，然后连续递推，不需要每隔训练长度重置，也不需要给用户输入拼接一段随机文本。见 Secs. 4.2–4.5，PDF pp. 7–9。

## 三：实验——每组结果对应的任务与预算

### 3.1 实验分组与对照角色

| 实验 | 模型与训练条件 | 比较对象 | 衡量目标 |
| --- | --- | --- | --- |
| 训练长度消融，Fig. 2 | 从零训练 Mamba-2 45M/85M/125M 与 GLA 70M；变动上下文长度 | 同规模、不同训练长度 | 长度是否影响位置 PPL（越低越好） |
| 训练量消融，Fig. 3 | Mamba-2 85M，训练上下文 1024 | 同一次训练不同检查点，4.25B–34B token | 长训练如何改变外推 |
| 四干预比较，Fig. 5 | 官方 Mamba-2 370M/780M/1.3B；100 步后训练 | Base、Random、Fitted、SP、TBTT | 初态分布与 32k 内位置 PPL |
| 跨架构，Figs. 1、10 | Mamba-1/2、GLA、RWKV-v6 | 原模型与 SP 后训练模型 | 长位置 PPL、EffRem 的变化 |
| BABILong，Fig. 6 | Mamba-2 780M；qa1–qa10；上下文 2048 | Base、Pile 上做过 SP/TBTT 的模型；各有 few-shot 与任务微调设置 | 长文中的问答准确率（越高越好） |
| Passkey，Fig. 7 | 官方 Mamba-2 370M/780M；任务微调 1000 步，上下文 2048 | Zero-shot、普通微调、Fitted Noise 微调 | 不同长度和密码位置的检索准确率 |
| Synthetic Copying，Table 1 | 从零训练的 45M Mamba-2；100 万条、长度 50–100 的序列 | 普通训练与 SP 训练 | 长度 300 的字符准确率 |

Fig. 2 的训练 token 数分别为：45M 使用 22.5B，85M 与 GLA 70M 使用 34B，125M 使用 25B。实验规模名称沿用对应图表；Appendix B 的配置表存在 125M/130M、350M/370M 等标注差异，复现时需要确认具体模型配置与 checkpoint。

### 3.2 共享语言建模配方

从零训练实验使用 The Pile 和 `EleutherAI/gpt-neox-20b` tokenizer；batch 为约 0.5M token，Adam 的 $\beta_1=0.9,\beta_2=0.95$，梯度裁剪 1.0，使用 RMSNorm、无 linear bias。学习率为 cosine decay，默认前 10% 步数 warm-up，衰减到 $10^{-5}$；权重衰减峰值 0.01。各模型峰值学习率见 Table 2。后训练用表中峰值学习率的十分之一。见 Appendix B.1–B.2，PDF pp. 16–17。

这些“默认上下文”不是所有消融的固定设置：Fig. 2 专门改变训练长度，Fig. 3 使用 1024，RWKV-v6 使用 256。附录所说的常规网络无 dropout，与 SP 对初态施加的 0.1 清零操作也不是一件事。

### 3.3 预算不能混用

| 对应结果 | 训练/适配量 | 长度范围或条件 |
| --- | --- | --- |
| Fig. 5 四干预主对照 | 100 步；作者记为约 0.02% 预训练预算 | 评估到 32k |
| Fig. 1 Mamba-2 与 GLA | 500 步；摘要以约 0.1% 概括主要结果 | 评估曲线到约 128k；训练长度分别为 2048、512 |
| Fig. 1 Mamba-1 | 1000 步 | 原训练长度 2048 |
| Fig. 7 passkey | 1000 步任务微调 | 训练长度 2048；测试网格到 256k |
| Fig. 10 RWKV-v6 | 35B token 预训练，250M token SP 后训练 | 训练长度 256 |

按 0.5M token/batch 粗算，100/500 步对应约 50M/250M token；这是根据配方的算术换算。论文没有给出这些比例对应的统一 GPU 小时或端到端实测耗时，因此“预算比例”不能进一步换成精确的墙钟加速倍数。

## 四：结果——从失效现象到干预，再到任务能力

### 4.1 短上下文和持续训练会加重外推失效

![原文图2：改变训练上下文后的按位置困惑度](figures/fig02-context.png)

来源：Fig. 2，PDF p. 4；原图面板裁切。横轴为 token 位置，纵轴为困惑度，颜色区分训练上下文。

同一个规模在较短上下文训练后，曲线会在训练范围以外回升；延长训练上下文后，外推更稳定。例如 125M 面板中，1024 的训练长度出现陡升，2048 仍有回升，4096 则更稳定。这使“固定状态容量必然不够”不足以单独解释现象：相同架构可以因训练范围改变而得到不同结果。见 Sec. 3.2，PDF p. 4。

![原文图3：训练检查点与长度外推](figures/85m_1024_checkpoints.png)

来源：Fig. 3，PDF p. 4。横轴为位置，纵轴为 PPL，颜色表示按 Chinchilla 训练量倍数标记的检查点。

85M 模型在短位置上的 PPL 随训练继续下降，但长位置上的 PPL 逐渐恶化，约 7.5 倍训练量附近已有明显回升，更晚检查点更剧烈。作者据此提出过拟合早期状态分布的解释；该门槛是这组模型与配方的观测，不是通用临界训练量。见 Sec. 3.3，PDF pp. 4–5。

### 4.2 输出敏感性和状态统计指向同一个问题

![原文图1：三个架构的困惑度与Effective Remembrance](figures/fig01-overview.png)

来源：Fig. 1，PDF p. 2；原图面板裁切。三列依次是 Mamba-1、Mamba-2、GLA；上排是 PPL，下排是 EffRem；同色实线为 Base、虚线为 SP。

阅读下排时，应固定最终位置 $T$，看删除越来越长的前缀如何改变预测。Mamba 的 $T=8192$，GLA 的 $T=2048$，都是对应训练上下文的四倍。失效模型受遥远前缀的影响偏强；SP 后这类影响降低，上排的长位置 PPL 也更稳定。这是最终输出层面的关联证据。

![原文图4：完整状态的尺度随位置变化](figures/statemetrics_full.png)

来源：Fig. 4，PDF p. 6。横轴是位置，虚线在 2048，蓝色为基线，橙色为 SP。

130M Mamba-2 的基线状态尺度在训练长度以后仍持续上升，而 SP 更早进入相对稳定的范围。橙线在不少位置反而更高，因此修复不能简单理解为“把所有状态压小”。Appendix C 的分头图进一步显示，主要漂移来自特定层/头；它们按变化明显程度被挑选，多数头没有同样异常。见 Fig. 9，PDF p. 18。

原文图4的标题与部分正文称其为 norm，但纵轴明确写 `Std Dev`，图注后半也使用 standard deviation。这里按图轴把它解释为状态尺度/标准差趋势，不将其当成明确计算的全状态欧氏范数。仅凭这类低阶统计也无法确认整个高维联合分布已匹配。

### 4.3 初态越贴近实际可达状态，效果越稳健

![原文图5：四种初态干预](figures/fig05-interventions.png)

来源：Fig. 5，PDF p. 7；原图面板裁切。三列分别为 370M、780M、1.3B；横轴为位置、纵轴为 PPL，灰线为原 checkpoint，四条虚线为 100 步后训练。

| 方法 | 370M | 780M | 1.3B | 机制含义 |
| --- | --- | --- | --- | --- |
| Random Noise | 有限改善 | 未修复 | 未修复 | 随意增加状态多样性不够 |
| Fitted Noise | 明显改善 | 明显改善 | 仍在长位置恶化 | 分头均值、方差有用，但独立采样可能遗漏依赖 |
| State Passing | 长位置稳定 | 长位置稳定 | 长位置稳定 | 使用实际递推产生的状态更可靠 |
| TBTT | 与 SP 接近 | 与 SP 接近 | 与 SP 接近 | 连续长文历史在这组 PPL 实验中不是必要条件 |

“1.3B 的状态存在更复杂依赖，独立高斯采样不够逼真”是作者的解释，不是对状态协方差做出的直接测量。更扎实的经验结论是：在相同 100 步预算下，保存实际状态结构的 SP/TBTT 比这两种高斯近似稳健。见 Secs. 4.2–4.5，PDF pp. 7–9。

Fig. 1 的更长预算实验进一步表明，该效果可扩展到 Mamba-1 和 GLA。Appendix D 的 RWKV-v6 70M 在 256 上下文、35B token 预训练后也出现长度失效；250M token 的 SP 后训练将其长位置 PPL 拉回相对稳定的范围。这是第四类架构的补充证据。见 Fig. 10，PDF p. 18。

### 4.4 BABILong：能带来远距离问答收益，但绝对能力仍有限

![原文图6：BABILong few-shot与微调结果](figures/fig06-babilong.png)

来源：Fig. 6，PDF p. 9；原图面板裁切。横轴为输入长度，纵轴为 Accuracy；左侧 few-shot，右侧任务微调。

模型为 Mamba-2 780M，评估 qa1–qa10。SP/TBTT 先在 Pile 上用于后训练；在右图的后续 BABILong 微调中，三类模型都不再使用 SP/TBTT，而是用 BABI 训练集的事实和问题做一个 epoch 的普通微调，长度仍为 2048。这表明先前学到的状态适应能力可以在随后任务微调中保留下来。见 Appendix B.3，PDF p. 17。

任务微调后，SP 在较长输入上优于 Base 和 TBTT；256k 处 SP 约为 24%，Base 约为 9%（按图估读）。但 few-shot 面板在 256k 时所有模型准确率都很低，不能从“评估到 256k”推导出已可靠解决 256k 推理。该结果支持长度适应能改善任务表现，也保留了模型本身推理与检索能力的限制。

### 4.5 Passkey：为什么这次选择 Fitted Noise

![原文图7：密码检索的长度与插入深度网格](figures/fig07-passkey.png)

来源：Fig. 7，PDF p. 10；原图面板裁切。上排 370M，下排 780M；三列为 zero-shot、普通任务微调、Fitted Noise 微调。横轴是总长度，纵轴是密码插入深度，右侧色条表示准确率，绿色高、红色低。

任务在大量填充文本中插入密码，要求末尾准确返回它。训练时随机采样密码深度，用长度 2048 的片段微调 1000 步；只对密码对应位置计算任务损失，并在答案后加句号以减少重复输出。见 Sec. 5.2、Appendix B.4，PDF pp. 10、17。

这个任务的位置分布明显不平稳：序列结尾刚输出过密码的状态，不一定适合作为另一段任务的开头。因此作者在这里使用 Fitted Noise，保留状态统计而不直接继承特定密码的完整末状态。这也说明初态策略需要匹配任务阶段结构，不能一概使用跨样本 SP。

780M 的 Fitted Noise 在图中所有报告的深度和长度格点上都是 100%，包括 256k；普通微调在 16k 以后已明显失败。370M 也得到较大的可用长度提升，但在最远、最困难的格点仍失败。收益确实涉及超过 2048 token 的依赖，不能仅由“有效退化成 2k 滑窗”解释。见 Fig. 7，PDF p. 10。

结果的任务含义是：在重复填充文本中保留并找回一个短密码。它与保存同样长度的任意高信息量文本不同，这一点由下面的随机复制实验直接显示出来。

### 4.6 Synthetic Copying：更高信息量的记忆仍有明显瓶颈

从零训练一个 45M Mamba-2，使用 100 万条长度 50–100 的随机 token 序列；测试要求复制长度 300 的序列。

| 训练方式 | 长度 300 的字符准确率（越高越好） |
| --- | ---: |
| 标准 Mamba-2 | $0.27\pm0.03$ |
| Mamba-2 + SP | $0.47\pm0.11$ |

来源：Table 1，PDF p. 10。平均准确率提高 **20 个百分点**，按均值计算的相对提升约为 74%。原文没有说明这里 $\pm$ 的具体统计口径，不能称作置信区间或指定次数运行的标准差。

SP 明显改善外推，但 47% 的字符准确率仍远离完整复制。更稳定地处理长序列与突破有限状态的信息存储瓶颈是不同的问题；该实验支持前者的改善，没有消除后者。

### 4.7 附录消融补充了哪些条件

| 消融 | 观察 | 对方法的解释 | 来源 |
| --- | --- | --- | --- |
| Warm-up | 45M、训练长度 1024、9B token；25% warm-up 比 10% 的长位置 PPL 更差 | 长度外推依赖训练配方，不能只看架构 | Appendix E，Fig. 11，p. 19 |
| 随机噪声 $\sigma$ | 125M、100 步后训练；太小可能不足以修复，太大伤害 PPL | 扩大状态覆盖也要兼顾分布与尺度 | Appendix F，Fig. 12，pp. 19–20 |
| EffRem 距离 | TV、Jensen–Shannon、$1-$cosine 得到相近曲线形状 | 输出敏感性结论不依赖某一个距离数值 | Appendix G，Fig. 13，p. 20 |

其中 $1-$cosine 不是严格的距离度量，不能把不同距离的绝对值放在同一尺度上解释。

## 五：结论——训练覆盖提供了新的诊断与适配入口

### 5.1 论文建立了怎样的论证链

短训练片段、持续训练和训练配方会改变外推表现；失效时输出受早期前缀异常影响，部分状态统计持续漂移；让训练初态更接近实际可达状态后，PPL 和这些诊断量一起改善；最后，远距离检索、问答与复制的收益表明，改进不只停留在自然文本 PPL 上。

这一链条支持作者的假说，但没有给出状态分布匹配程度与泛化误差之间的定量界。SP 还会通过训练改变递推权重和最终状态分布，因此它同时是“扩展训练覆盖”和“学习更稳定动态”的干预，现有实验没有将两种作用完全分离。

### 5.2 对循环模型研究的实际启发

**评估应把三件事分开。** 先测是否能在长位置维持预测质量，再看前缀影响是否合理，最后用明确需要远距信息的任务测试有效记忆。一个指标不能替代另外两个。

**初态应作为训练方案的一部分。** 对近似平稳的语言建模片段，SP 是很直接的基线；需要保持连续文档上下文时可用 TBTT；存在明显任务阶段变化时，拟合噪声或更贴近任务的初态分布值得单独比较。后两句是由论文证据引出的设计建议，不是作者已验证的通用选择规则。

**固定状态的容量与状态分布的覆盖要分别诊断。** 本文展示了不增加状态维度也能修复一类长度问题；随机复制的剩余误差说明，状态覆盖充分后仍可能遇到信息容量或检索机制的限制。

### 5.3 实现时最容易误读的两个细节

Appendix I / Fig. 14（PDF p. 21）的示例函数中，返回的 `y` **仅是非零初态对输出的附加贡献**，需要加到零初态计算结果上，不能当成完整模型输出。

同一示例用 `exp(cumsum(A))` 计算连乘。因此从数学运算反推，代码里的 `A` 应表示对角转移系数的对数，或等价的指数参数，而非直接传入 Eq. (1a) 的转移矩阵值。原注释却写作 `A (Equation 1a)`，这一命名不够精确；实现时必须对齐 log-space 参数化。一般矩阵还应使用有序乘积，不能套用该逐元素代码。

论文真正打开的方向，是用状态分布设计训练，而不仅用序列长度设计训练。如何度量高维状态覆盖、如何在非平稳任务中构造合适初态，以及这种训练能否推广到混合架构，是顺着本文证据最直接的后续问题。