版本与下载

Understanding and Improving Length Generalization in Recurrent Models：中文研读笔记

作者：Ricardo Buitrago Ruiz、Albert Gu（Carnegie Mellon University / Cartesia AI）
版本：arXiv:2507.02782v2，2025-10-12 修订；本次研读与获取日期：2026-10-12
原文：arXiv v2 · 本地 PDF · 英文汇报 PDF · 可编辑 TeX

论文总览

循环模型能够把递推计算一直运行下去，却可能在超过训练长度后突然变得不会预测。本文把这一现象解释为状态分布外推失败：短序列训练总从零状态出发，模型只熟悉递推早期的状态；长序列产生的状态虽然由同一个模型计算得到，却落在训练没有充分覆盖的分布上。

作者提出“未探索状态假说”（unexplored states hypothesis），用按位置困惑度、输出分布敏感性和状态统计量串起证据，再比较四种训练时的初始状态干预。效果最稳健的 State Passing（SP，状态传递）把另一段序列的末状态作为当前序列的初态，并以 0.1 的概率恢复零初始化。模型因此在短训练片段内学习处理更丰富的状态，推理时仍可从零状态正常开始。

主要结果需要按实验区分：

语言建模的干预对照：Mamba-2 370M、780M、1.3B 经过 100 步 SP 或 TBTT 后训练，按位置困惑度在测到的 32k 范围内保持稳定。拟合高斯噪声改善前两者，但未修复 1.3B。见 Fig. 5，PDF p. 7。
更长的跨架构评估：Fig. 1 中，Mamba-2 和 GLA 使用 500 步，Mamba-1 使用 1000 步 SP；曲线延伸到约 128k。Mamba 的原训练上下文为 2048，GLA 为 512。摘要的“500 步、约 0.1% 预训练预算、2k→128k”不能套到所有实验。见 Fig. 1，PDF p. 2。
真实远距离利用：Mamba-2 780M 在仅用 2048 长度样本做 1000 步拟合噪声任务微调后，在报告的 256k passkey 网格上达到 100% 准确率。BABILong 与随机复制也有所改善，其中复制字符准确率从 $0.27\pm0.03$ 提升到 $0.47\pm0.11$。见 Sec. 5、Fig. 6–7、Table 1，PDF pp. 9–10；Appendix B，p. 17。

这篇论文最有启发性的地方，是把“上下文长度”问题转化为“训练时见过什么状态”问题。它提供的是由多组干预支持的机制解释和低预算适配方法；核心假说没有被证明为一般性的必要充分条件。

结构地图

下文页码均为从 1 开始的 PDF 页码，本版本与印刷页码一致。

原文章节	作用	PDF 页码与关键证据
1 Introduction	研究问题、假说及跨架构概览	pp. 1–3，Fig. 1
2 Preliminaries	序列记号与线性状态递推	p. 3，Eq. (1)
3 Analyzing the Length Generalization Failure of Recurrent Models	定义、训练因素、Effective Remembrance、状态分布假说	pp. 3–6，Definitions 3.1–3.3，Figs. 2–4，Eqs. (2)–(3)
4 Training Interventions to Enable Length Generalization	非零初态公式、四类干预	pp. 7–9，Fig. 5，Eqs. (4)–(6)
5 Performance of Interventions on Long Context Tasks	BABILong、passkey、随机复制	pp. 9–10，Figs. 6–7，Table 1
6 Related Work；7 Conclusion and Future Work	与已有 SP/TBTT、Mamba 长度扩展工作的关系	p. 11
A Extended Related Work；B Training recipes	Transformer/算法外推背景、训练和任务微调配方	pp. 16–17，Table 2，Fig. 8
C Distribution of the State at Given Heads and Layers Over Time；D Position-wise Perplexity for RWKV-v6	分头状态统计及第四类架构	pp. 17–18，Figs. 9–10
E Impact of the Warm-Up Period on Length Generalization；F Impact of the Standard Deviation on the Random Gaussian Initial State Intervention	warm-up 与噪声幅度消融	pp. 19–20，Figs. 11–12
G Ablation on the Choice of Distance for Effective Remembrance	输出距离度量消融	p. 20，Fig. 13
H Derivation of SSM Equations for Non-Zero Initial State；I State Passing Pytorch Pseudocode	递推展开与实现	pp. 20–21，Fig. 14

一：动机——能运行更长，不代表能正确处理更长

1.1 固定大小状态为什么仍会出现长度失效

SSM 与线性注意力把历史压缩进状态，序列长度增加时只需要继续更新状态。对于固定模型尺寸，序列处理的计算量随长度线性增长，递归解码状态不随已读 token 数线性增加。这给出了计算层面的可扩展性，但没有约束模型进入长序列后的状态分布。

一个关键现象是：如果模型只用最近的训练长度窗口来预测，它至少有机会维持短上下文水平；实际循环模型却可能连这一点也做不到，因为早先 token 的影响留在状态中，妨碍了近期上下文的处理。作者因此同时追问“状态发生了什么变化”和“这种变化如何影响最终输出”。见 Secs. 1、3.4，PDF pp. 1–2、5。

1.2 本文贡献与已有工作的分界

相关方法会跳过部分 token 的状态更新、强制遗忘、调整 Mamba 的离散化参数，或直接用更长序列训练。本文关注训练分布：保持模型的推理递推形式，通过改变训练初态来更新权重。

SP 和 TBTT 本身并非本文首次提出。 Sec. 6 已明确指出 LongSSM 等工作讨论过零初态、短序列过拟合及 SP/TBTT 预训练。本文新增的价值主要在于：给出统一的状态分布解释，提出适用于自回归模型的 Effective Remembrance，比较初态分布的逼真程度，并展示少量后训练即可修复多个现有循环模型。见 Sec. 6，PDF p. 11。

二：方法——把初始状态变成训练分布的一部分

2.1 递推模型与符号

原文从单通道的状态空间模型出发：

$$ h_t=A_t h_{t-1}+B_t x_t,\qquad y_t=C_t^\top h_t. $$

符号	含义
$x_t,y_t$	单通道输入与输出；完整网络包含多通道、多头和多层
$h_t\in\mathbb R^N$	在位置 $t$ 更新后的状态
$A_t\in\mathbb R^{N\times N}$	旧状态的保留与变换
$B_t,C_t\in\mathbb R^{N\times1}$	输入写入与输出读出
$h_{-1}$	尚未读入当前序列时的初始状态；常规训练设为零
$T_{\mathrm{train}}$	训练片段的上下文长度
$\mathcal D_t$	数据序列经过递推后，在位置 $t$ 产生的状态分布

不同架构主要改变 $A_t,B_t,C_t$ 的参数化与输入依赖。论文实证覆盖 Mamba-1、Mamba-2、GLA、RWKV-v6；其形式化范围是能写成上述线性状态递推的模型，xLSTM 被作者留在范围之外。见 Sec. 2.2、Eq. (1)，PDF p. 3。

2.2 “长度泛化”究竟在测什么

位置困惑度（position-wise perplexity）定义为：

$$ \operatorname{PPL}(t)=\exp\left(\mathbb E_{x\sim\mathcal D}[-\log q(x_t\mid x_{0:t-1})]\right). $$

应先在相同位置上平均负对数概率，再取指数；它不是把每个样本的困惑度做算术平均。数值越低，预测越好。

原文取训练位置内的最小值 $p^\star$ 及其位置 $t^\star$，将长度泛化定义为：从 $t^\star$ 到更长测试终点 $T$，位置困惑度都不超过 $p^\star$。这比“没有爆炸”更严格。实验主要用经验曲线展示趋势，轻微上浮和噪声应按曲线实际形状理解，不宜把每条近似平坦曲线都解读成严格满足该定义。见 Definitions 3.1–3.2，PDF p. 4。

这一指标衡量长输入上的预测质量。它本身不要求模型使用非常远的事实，因此 Sec. 5 另测检索、推理和复制。

2.3 Effective Remembrance：删除前缀会怎样改变输出

固定预测位置 $T$，分别用完整上下文 $x_{0:T}$ 和只保留的后缀 $x_{t:T}$ 做预测：

$$ \operatorname{EffRem}_T(t)=d\left(q(\cdot\mid x_{0:T}),q(\cdot\mid x_{t:T})\right). $$

默认距离为总变差（total variation，TV）：

$$ \operatorname{TV}(p,q)=\frac12\sum_{v\in\mathcal V}|p(v)-q(v)|\in[0,1]. $$

这里 $t$ 是被保留后缀的起点，被删掉的是 $[0,t)$。计算后缀分支时从模型正常初态重新处理后缀。高值说明前缀的存在显著影响最终预测，不能单独说明影响是正确记忆还是有害干扰。

例如，教学用的两类输出分布 $(0.9,0.1)$ 与 $(0.6,0.4)$ 的 TV 为 $0.3$。这量化的是输出改变幅度，没有使用答案标签，也没有直接计数模型能存储多少事实。

Fig. 1 的实线为基线、虚线为 SP 后训练模型。失效的 Mamba-2 在删去很早的一小段前缀后，输出就会大变；SP 后这一异常影响减弱。GLA 的变化更集中在距离最终位置约 512 token 的区域，说明架构的有效上下文形态仍然不同。见 Sec. 3.4、Eq. (2)、Fig. 1，PDF pp. 2、5。

数学上只能保证 $\operatorname{EffRem}_T(0)=0$ 和 TV 的范围；曲线不必单调，$t\to T$ 时也不必等于 1。作者对自然文本的预期形状是经验直觉。另，原文 Eq. (3) 把第二个概率项误排为 $q(x')$，上式按其明确说明的 TV 定义写成同一词项上的两分布之差。

2.4 未探索状态假说

令 $X$ 为数据序列，则作者用 $\mathcal D_t:=h_t(X_{0:t})$ 表示状态的分布。零初态、长度为 $T_{\mathrm{train}}$ 的训练只让模型在早期位置的状态上学习；更长位置的状态虽然“可达”，却可能偏离这些分布。

在输入 token 的边际分布随位置近似稳定的情形下，状态漂移成为值得单独分析的因素。由此产生两个预测：更长训练片段应帮助覆盖状态；如果能用合适初态直接进入这些状态附近，短片段训练也应有效。四类干预就是对第二个预测的检验。见 Sec. 3.6，PDF p. 6。

一个教学例子能说明区别：对于 $h_t=0.9h_{t-1}+1$，零初态下前两步只到 $1,1.9$，长期却趋近 $10$。如果训练片段只有两步，读出模块可能只熟悉靠近零的区域；从 $h_{-1}=8$ 出发，同样两步便会见到 $8.2,8.38$。这只是解释“短片段也能覆盖晚期状态”的例子，论文没有用这组数字做实验。

2.5 非零初态为什么容易接入现有递推

展开 Eq. (1)，原文得到：

$$ h_t=\sum_{s=0}^t A_{s+1:t}^{\times}B_sx_s+A_{0:t}^{\times}h_{-1}, $$

$$ y_t=C_t^\top\sum_{s=0}^t A_{s+1:t}^{\times}B_sx_s+C_t^\top A_{0:t}^{\times}h_{-1}. $$

右侧第一部分是原来的零初态结果，第二部分是初态经状态转移后留下的贡献。在给定转移系数的这次递推中，支持非零初态只需要正确加入该贡献；仍可使用并行扫描或相应的分块计算。见 Sec. 4.1、Eq. (4)，PDF p. 7。

对一般矩阵必须约定乘法顺序。明确写成

$$ \Phi(t,s)=A_tA_{t-1}\cdots A_s,\qquad h_t=\sum_{s=0}^t\Phi(t,s+1)B_sx_s+\Phi(t,0)h_{-1} $$

即可避免歧义，空乘积取单位矩阵。Appendix H 的中间推导交换了矩阵次序；在一般矩阵情况下不能照搬。作者 Appendix I 的代码明确限于对角 $A_t$，其逐元素乘积没有这个交换次序问题。见 PDF pp. 20–21。

2.6 四种初态干预及其设计理由

干预	当前片段初态从哪里来	保留了哪些状态结构	主要代价或条件
Random Noise	所有元素独立采样 $\mathcal N(0,\sigma^2)$	只有统一噪声尺度	需要调 $\sigma$，生成的状态可能不逼真
Fitted Noise	按层、按头拟合的高斯分布	各头的均值、方差	忽略状态元素间依赖
State Passing	打乱序列后，上一批的实际末状态	实际递推产生的联合结构	需保存末状态，且跨序列初态要适合当前任务
TBTT	同一长序列前一个连续片段的末状态	状态结构与上下文连续性	数据加载必须保持片段顺序，片段间截断梯度

Fitted Noise 的具体更新。 对层 $l$、头 $i$，以末状态的当前统计更新均值和方差：

$$ \mu^{(li)}\leftarrow(1-\beta)\operatorname{Mean}(h_T^{(li)})+\beta\mu^{(li)}, $$

$$ {\sigma^2}^{(li)}\leftarrow(1-\beta)\operatorname{Variance}(h_T^{(li)})+\beta{\sigma^2}^{(li)},\quad\beta=0.1. $$

平均和方差跨 head dimension 与状态扩展维度 $N$ 计算，然后各元素独立采样。这里当前观测权重是 0.9，旧统计权重是 0.1，不要按常见 EMA 记法把二者颠倒。原文没有完全展开 batch 维的聚合实现。见 Eqs. (5)–(6)，PDF p. 8。

SP 与 TBTT 的关键区别。 SP 不要求上一个片段与当前片段语义连续；TBTT 维持同一长序列的顺序。二者效果接近，支持“可达状态覆盖本身很重要”的解释。SP 的末状态可以来自已经继承过更早状态的片段，因此其前向状态历史可逐批延长，而梯度只在当前片段内传播。作者将二者的实现差别概括为是否打乱序列和是否维护连续采样器。见 Secs. 4.4–4.5，PDF pp. 8–9。

SP 还以概率 $p=0.1$ 清零初态，使模型继续适应没有历史的序列开头。下面是教学整理的训练流程，突出数据流，不是作者提供的完整训练程序：

cached_state = zeros
for batch in shuffled_short_sequences:
    initial_state = stop_gradient(cached_state)
    initial_state = randomly_reset_to_zero(initial_state, probability=0.1)
    predictions, final_state = model(batch, initial_state)
    loss = next_token_loss(predictions, batch)
    update_model_using_this_chunk(loss)
    cached_state = stop_gradient(final_state)

训练与推理的区别。 Gaussian 初态只在训练时加入，验证仍从零开始；在验证开头加入噪声会损害最初 token。SP/TBTT 的效果保存在更新后的权重里。一个新的独立推理序列正常清零，然后连续递推，不需要每隔训练长度重置，也不需要给用户输入拼接一段随机文本。见 Secs. 4.2–4.5，PDF pp. 7–9。

三：实验——每组结果对应的任务与预算

3.1 实验分组与对照角色

实验	模型与训练条件	比较对象	衡量目标
训练长度消融，Fig. 2	从零训练 Mamba-2 45M/85M/125M 与 GLA 70M；变动上下文长度	同规模、不同训练长度	长度是否影响位置 PPL（越低越好）
训练量消融，Fig. 3	Mamba-2 85M，训练上下文 1024	同一次训练不同检查点，4.25B–34B token	长训练如何改变外推
四干预比较，Fig. 5	官方 Mamba-2 370M/780M/1.3B；100 步后训练	Base、Random、Fitted、SP、TBTT	初态分布与 32k 内位置 PPL
跨架构，Figs. 1、10	Mamba-1/2、GLA、RWKV-v6	原模型与 SP 后训练模型	长位置 PPL、EffRem 的变化
BABILong，Fig. 6	Mamba-2 780M；qa1–qa10；上下文 2048	Base、Pile 上做过 SP/TBTT 的模型；各有 few-shot 与任务微调设置	长文中的问答准确率（越高越好）
Passkey，Fig. 7	官方 Mamba-2 370M/780M；任务微调 1000 步，上下文 2048	Zero-shot、普通微调、Fitted Noise 微调	不同长度和密码位置的检索准确率
Synthetic Copying，Table 1	从零训练的 45M Mamba-2；100 万条、长度 50–100 的序列	普通训练与 SP 训练	长度 300 的字符准确率

Fig. 2 的训练 token 数分别为：45M 使用 22.5B，85M 与 GLA 70M 使用 34B，125M 使用 25B。实验规模名称沿用对应图表；Appendix B 的配置表存在 125M/130M、350M/370M 等标注差异，复现时需要确认具体模型配置与 checkpoint。

3.2 共享语言建模配方

从零训练实验使用 The Pile 和 EleutherAI/gpt-neox-20b tokenizer；batch 为约 0.5M token，Adam 的 $\beta_1=0.9,\beta_2=0.95$，梯度裁剪 1.0，使用 RMSNorm、无 linear bias。学习率为 cosine decay，默认前 10% 步数 warm-up，衰减到 $10^{-5}$；权重衰减峰值 0.01。各模型峰值学习率见 Table 2。后训练用表中峰值学习率的十分之一。见 Appendix B.1–B.2，PDF pp. 16–17。

这些“默认上下文”不是所有消融的固定设置：Fig. 2 专门改变训练长度，Fig. 3 使用 1024，RWKV-v6 使用 256。附录所说的常规网络无 dropout，与 SP 对初态施加的 0.1 清零操作也不是一件事。

3.3 预算不能混用

对应结果	训练/适配量	长度范围或条件
Fig. 5 四干预主对照	100 步；作者记为约 0.02% 预训练预算	评估到 32k
Fig. 1 Mamba-2 与 GLA	500 步；摘要以约 0.1% 概括主要结果	评估曲线到约 128k；训练长度分别为 2048、512
Fig. 1 Mamba-1	1000 步	原训练长度 2048
Fig. 7 passkey	1000 步任务微调	训练长度 2048；测试网格到 256k
Fig. 10 RWKV-v6	35B token 预训练，250M token SP 后训练	训练长度 256

按 0.5M token/batch 粗算，100/500 步对应约 50M/250M token；这是根据配方的算术换算。论文没有给出这些比例对应的统一 GPU 小时或端到端实测耗时，因此“预算比例”不能进一步换成精确的墙钟加速倍数。

四：结果——从失效现象到干预，再到任务能力

4.1 短上下文和持续训练会加重外推失效

原文图2：改变训练上下文后的按位置困惑度

来源：Fig. 2，PDF p. 4；原图面板裁切。横轴为 token 位置，纵轴为困惑度，颜色区分训练上下文。

同一个规模在较短上下文训练后，曲线会在训练范围以外回升；延长训练上下文后，外推更稳定。例如 125M 面板中，1024 的训练长度出现陡升，2048 仍有回升，4096 则更稳定。这使“固定状态容量必然不够”不足以单独解释现象：相同架构可以因训练范围改变而得到不同结果。见 Sec. 3.2，PDF p. 4。

原文图3：训练检查点与长度外推

来源：Fig. 3，PDF p. 4。横轴为位置，纵轴为 PPL，颜色表示按 Chinchilla 训练量倍数标记的检查点。

85M 模型在短位置上的 PPL 随训练继续下降，但长位置上的 PPL 逐渐恶化，约 7.5 倍训练量附近已有明显回升，更晚检查点更剧烈。作者据此提出过拟合早期状态分布的解释；该门槛是这组模型与配方的观测，不是通用临界训练量。见 Sec. 3.3，PDF pp. 4–5。

4.2 输出敏感性和状态统计指向同一个问题

原文图1：三个架构的困惑度与Effective Remembrance

来源：Fig. 1，PDF p. 2；原图面板裁切。三列依次是 Mamba-1、Mamba-2、GLA；上排是 PPL，下排是 EffRem；同色实线为 Base、虚线为 SP。

阅读下排时，应固定最终位置 $T$，看删除越来越长的前缀如何改变预测。Mamba 的 $T=8192$，GLA 的 $T=2048$，都是对应训练上下文的四倍。失效模型受遥远前缀的影响偏强；SP 后这类影响降低，上排的长位置 PPL 也更稳定。这是最终输出层面的关联证据。

原文图4：完整状态的尺度随位置变化

来源：Fig. 4，PDF p. 6。横轴是位置，虚线在 2048，蓝色为基线，橙色为 SP。

130M Mamba-2 的基线状态尺度在训练长度以后仍持续上升，而 SP 更早进入相对稳定的范围。橙线在不少位置反而更高，因此修复不能简单理解为“把所有状态压小”。Appendix C 的分头图进一步显示，主要漂移来自特定层/头；它们按变化明显程度被挑选，多数头没有同样异常。见 Fig. 9，PDF p. 18。

原文图4的标题与部分正文称其为 norm，但纵轴明确写 Std Dev，图注后半也使用 standard deviation。这里按图轴把它解释为状态尺度/标准差趋势，不将其当成明确计算的全状态欧氏范数。仅凭这类低阶统计也无法确认整个高维联合分布已匹配。

4.3 初态越贴近实际可达状态，效果越稳健

原文图5：四种初态干预

来源：Fig. 5，PDF p. 7；原图面板裁切。三列分别为 370M、780M、1.3B；横轴为位置、纵轴为 PPL，灰线为原 checkpoint，四条虚线为 100 步后训练。

方法	370M	780M	1.3B	机制含义
Random Noise	有限改善	未修复	未修复	随意增加状态多样性不够
Fitted Noise	明显改善	明显改善	仍在长位置恶化	分头均值、方差有用，但独立采样可能遗漏依赖
State Passing	长位置稳定	长位置稳定	长位置稳定	使用实际递推产生的状态更可靠
TBTT	与 SP 接近	与 SP 接近	与 SP 接近	连续长文历史在这组 PPL 实验中不是必要条件

“1.3B 的状态存在更复杂依赖，独立高斯采样不够逼真”是作者的解释，不是对状态协方差做出的直接测量。更扎实的经验结论是：在相同 100 步预算下，保存实际状态结构的 SP/TBTT 比这两种高斯近似稳健。见 Secs. 4.2–4.5，PDF pp. 7–9。

Fig. 1 的更长预算实验进一步表明，该效果可扩展到 Mamba-1 和 GLA。Appendix D 的 RWKV-v6 70M 在 256 上下文、35B token 预训练后也出现长度失效；250M token 的 SP 后训练将其长位置 PPL 拉回相对稳定的范围。这是第四类架构的补充证据。见 Fig. 10，PDF p. 18。

4.4 BABILong：能带来远距离问答收益，但绝对能力仍有限

原文图6：BABILong few-shot与微调结果

来源：Fig. 6，PDF p. 9；原图面板裁切。横轴为输入长度，纵轴为 Accuracy；左侧 few-shot，右侧任务微调。

模型为 Mamba-2 780M，评估 qa1–qa10。SP/TBTT 先在 Pile 上用于后训练；在右图的后续 BABILong 微调中，三类模型都不再使用 SP/TBTT，而是用 BABI 训练集的事实和问题做一个 epoch 的普通微调，长度仍为 2048。这表明先前学到的状态适应能力可以在随后任务微调中保留下来。见 Appendix B.3，PDF p. 17。

任务微调后，SP 在较长输入上优于 Base 和 TBTT；256k 处 SP 约为 24%，Base 约为 9%（按图估读）。但 few-shot 面板在 256k 时所有模型准确率都很低，不能从“评估到 256k”推导出已可靠解决 256k 推理。该结果支持长度适应能改善任务表现，也保留了模型本身推理与检索能力的限制。

4.5 Passkey：为什么这次选择 Fitted Noise

原文图7：密码检索的长度与插入深度网格

来源：Fig. 7，PDF p. 10；原图面板裁切。上排 370M，下排 780M；三列为 zero-shot、普通任务微调、Fitted Noise 微调。横轴是总长度，纵轴是密码插入深度，右侧色条表示准确率，绿色高、红色低。

任务在大量填充文本中插入密码，要求末尾准确返回它。训练时随机采样密码深度，用长度 2048 的片段微调 1000 步；只对密码对应位置计算任务损失，并在答案后加句号以减少重复输出。见 Sec. 5.2、Appendix B.4，PDF pp. 10、17。

这个任务的位置分布明显不平稳：序列结尾刚输出过密码的状态，不一定适合作为另一段任务的开头。因此作者在这里使用 Fitted Noise，保留状态统计而不直接继承特定密码的完整末状态。这也说明初态策略需要匹配任务阶段结构，不能一概使用跨样本 SP。

780M 的 Fitted Noise 在图中所有报告的深度和长度格点上都是 100%，包括 256k；普通微调在 16k 以后已明显失败。370M 也得到较大的可用长度提升，但在最远、最困难的格点仍失败。收益确实涉及超过 2048 token 的依赖，不能仅由“有效退化成 2k 滑窗”解释。见 Fig. 7，PDF p. 10。

结果的任务含义是：在重复填充文本中保留并找回一个短密码。它与保存同样长度的任意高信息量文本不同，这一点由下面的随机复制实验直接显示出来。

4.6 Synthetic Copying：更高信息量的记忆仍有明显瓶颈

从零训练一个 45M Mamba-2，使用 100 万条长度 50–100 的随机 token 序列；测试要求复制长度 300 的序列。

训练方式	长度 300 的字符准确率（越高越好）
标准 Mamba-2	$0.27\pm0.03$
Mamba-2 + SP	$0.47\pm0.11$

来源：Table 1，PDF p. 10。平均准确率提高 20 个百分点，按均值计算的相对提升约为 74%。原文没有说明这里 $\pm$ 的具体统计口径，不能称作置信区间或指定次数运行的标准差。

SP 明显改善外推，但 47% 的字符准确率仍远离完整复制。更稳定地处理长序列与突破有限状态的信息存储瓶颈是不同的问题；该实验支持前者的改善，没有消除后者。

4.7 附录消融补充了哪些条件

消融	观察	对方法的解释	来源
Warm-up	45M、训练长度 1024、9B token；25% warm-up 比 10% 的长位置 PPL 更差	长度外推依赖训练配方，不能只看架构	Appendix E，Fig. 11，p. 19
随机噪声 $\sigma$	125M、100 步后训练；太小可能不足以修复，太大伤害 PPL	扩大状态覆盖也要兼顾分布与尺度	Appendix F，Fig. 12，pp. 19–20
EffRem 距离	TV、Jensen–Shannon、$1-$cosine 得到相近曲线形状	输出敏感性结论不依赖某一个距离数值	Appendix G，Fig. 13，p. 20

其中 $1-$cosine 不是严格的距离度量，不能把不同距离的绝对值放在同一尺度上解释。

五：结论——训练覆盖提供了新的诊断与适配入口

5.1 论文建立了怎样的论证链

短训练片段、持续训练和训练配方会改变外推表现；失效时输出受早期前缀异常影响，部分状态统计持续漂移；让训练初态更接近实际可达状态后，PPL 和这些诊断量一起改善；最后，远距离检索、问答与复制的收益表明，改进不只停留在自然文本 PPL 上。

这一链条支持作者的假说，但没有给出状态分布匹配程度与泛化误差之间的定量界。SP 还会通过训练改变递推权重和最终状态分布，因此它同时是“扩展训练覆盖”和“学习更稳定动态”的干预，现有实验没有将两种作用完全分离。

5.2 对循环模型研究的实际启发

评估应把三件事分开。 先测是否能在长位置维持预测质量，再看前缀影响是否合理，最后用明确需要远距信息的任务测试有效记忆。一个指标不能替代另外两个。

初态应作为训练方案的一部分。 对近似平稳的语言建模片段，SP 是很直接的基线；需要保持连续文档上下文时可用 TBTT；存在明显任务阶段变化时，拟合噪声或更贴近任务的初态分布值得单独比较。后两句是由论文证据引出的设计建议，不是作者已验证的通用选择规则。

固定状态的容量与状态分布的覆盖要分别诊断。 本文展示了不增加状态维度也能修复一类长度问题；随机复制的剩余误差说明，状态覆盖充分后仍可能遇到信息容量或检索机制的限制。

5.3 实现时最容易误读的两个细节

Appendix I / Fig. 14（PDF p. 21）的示例函数中，返回的 y 仅是非零初态对输出的附加贡献，需要加到零初态计算结果上，不能当成完整模型输出。

同一示例用 exp(cumsum(A)) 计算连乘。因此从数学运算反推，代码里的 A 应表示对角转移系数的对数，或等价的指数参数，而非直接传入 Eq. (1a) 的转移矩阵值。原注释却写作 A (Equation 1a)，这一命名不够精确；实现时必须对齐 log-space 参数化。一般矩阵还应使用有序乘积，不能套用该逐元素代码。

论文真正打开的方向，是用状态分布设计训练，而不仅用序列长度设计训练。如何度量高维状态覆盖、如何在非平稳任务中构造合适初态，以及这种训练能否推广到混合架构，是顺着本文证据最直接的后续问题。