# Learning Length-Extrapolatable Recurrent Models：中文研读笔记

- **作者**：Hanwen Jiang（Adobe Research）。
- **原文版本**：[arXiv:2609.09157v1](https://arxiv.org/abs/2609.09157v1)，2026-09-08 提交；获取与研读日期：2026-10-29。
- **原文**：[本地 PDF](../source/paper.pdf) · [arXiv PDF](https://arxiv.org/pdf/2609.09157v1)；配套：[英文组会幻灯片](slides.en.pdf) · [可编辑 TeX](slides.en.tex)。
- **发表**：未查到正式发表信息（截至 2026-10-29）；[arXiv 记录](https://arxiv.org/abs/2609.09157)与[作者主页](https://hwjiang1510.github.io/)未提供可确认的会议或期刊发表依据。
- **代码**：未查到公开代码（截至 2026-10-29）；[作者 GitHub](https://github.com/hwjiang1510?tab=repositories)。

## 论文总览

这篇论文研究：**怎样让只在短序列上训练的循环模型，在更长的时间跨度上仍能有效保存和使用上下文？** 作者把注意力放在“状态信用信号”（state credit）：未来损失回传到早期隐藏状态的梯度。它先经过局部参数 Jacobian，再汇总成优化器接收的参数梯度；因此可以在汇总之前直接干预。

方法 **CST（Credit Stabilization through Time，跨时间信用稳定化）** 在训练的反向传播中，以正标量缩放分块边界上的状态信用。合成任务采用只补偿明显收缩的 Event-CST；真实语言采用逐层、逐头的双向平滑控制器，同时处理收缩与膨胀。前向函数、损失定义和推理结构保持原样，但修改后的反向信号不再是原目标的精确梯度。

主要结果有两个层次：在 1K 训练的 Meta-FSA 上，Event-CST 在 16K–128K 的 16 个“长度×转移深度”设置中均提高三种子平均准确率，平均增加 **6.58 个百分点**；在 4K 训练的 123.30M 语言模型上，全部 14 个“数据集×长度”设置的全 token NLL 都下降，平均下降 **0.00724**。前者最大外推倍率为 **128×**，后者为 **32×**。LongData 的上下文移除实验进一步支持远处信息利用的改善；较大模型在部分任务设置上的退步，则说明控制器效果依赖任务与训练配置。

## 结构地图

以下页码均为从 1 开始的原文 PDF 页码，本版本与印刷页码一致。

| 原文章节 | 在论证中的作用 | PDF 页码与关键证据 |
| --- | --- | --- |
| 1 Introduction | 提出“短训练、长部署”，区分状态信用与参数梯度 | pp. 1–2 |
| 2 A Suite of Controlled Synthetic Tasks | 分离记忆负载、保留时间和转移深度 | pp. 2–3，表 1 |
| 3 BPTT and Temporal-Credit Diagnosis | 测量远程路径必要性与状态信用传输 | pp. 3–6，式 (1)–(9)，表 2 |
| 4 Method | 定义分块边界上的 CST 干预 | pp. 6–7，式 (10)–(11) |
| 5 Controlled-Task Specialization and Verification | Event-CST、EMA replay、合成任务与规模实验 | pp. 7–11，式 (12)–(15)，图 1–4 |
| 6 Real-Data Specialization and Language Modeling | 双向逐头控制器、语言建模与上下文移除 | pp. 11–14，式 (16)–(17)，表 3–4 |
| 7 Related Work；8 Conclusion | 定位方法、总结收益及具体局限 | pp. 14–15 |
| A Additional Diagnostic Details | 补充诊断协议及 MQAR 梯度干预 | p. 19 |
| B Language-Model Statistical Analysis | 模型配置、关键 token、Transformer 对照和置信区间 | pp. 19–21，图 5，表 5–6 |
| C Additional Method Details | 序列化、hook、稀疏计划与控制器行为 | pp. 21–23，图 6–7 |
| D Research Process and Unsuccessful Explorations | 未获得稳定收益的探索方向 | pp. 23–24 |

## 一：动机——长序列中的困难，取决于监督需要传多远

循环模型用固定大小的状态反复执行同一个更新规则，从结构上容易运行到训练长度以外。但“能够继续执行”与“学到足够可靠的长期规则”之间存在差距。作者的问题是：训练时的损失，是否把有用信号送到了真正需要学习的早期计算？

传统解释强调时间 Jacobian 连乘导致梯度消失或爆炸。本文补充了一个关键条件：**只有任务需要远处后果来评价早期计算时，远程信用缺失才会成为学习障碍。** 如果每次规则应用都有就近标签，模型可以从大量局部损失学到共享规则，即使很晚的损失几乎传不到序列开头。〔Sec. 1、3，PDF pp. 1、4–6〕

### 1.1 用三个任务拆开不同需求

| 任务 | 每条样本的上下文 | 预测如何产生 | 延长序列主要增加什么 |
| --- | --- | --- | --- |
| Fixed-FSA | 无实例特定上下文，$M=0$ | 固定状态转移 $s_d=F(s_{d-1},u_d)$，每步预测 $s_d$ | 同一规则的连续应用次数，$N=D$ |
| MQAR | $M$ 个键值绑定 | 每个 query 独立查询原始上下文，$y_n=f(\mathcal C,u_n)$ | 信息必须保持可访问的时间，$D=0$ |
| Meta-FSA | 每条样本随机生成的状态转移表 | 多个独立初始化的段，每段执行 $D$ 步；$N=KD$ | 转移表的保留时间与段内推演深度 |

这里 $M$ 是可寻址上下文条目数，$N$ 是任务输入数，$D$ 是依赖前一步结果的转移深度。Meta-FSA 每段开始时重置的是**任务状态**，循环模型的隐藏状态持续传递，仍需保存最初的转移表。实验固定 $M$，研究时间跨度与深度外推，因此结果不涉及记忆容量随长度增加。〔Sec. 2，PDF pp. 2–3〕

还应区分逻辑步数与物理 token 长度 $T$。Meta-FSA 把一条转移写成 $(s,u,s')$ 三个 token，前缀占 $2+3M$ 个 token；每段再输入一个初始状态和 $D$ 个动作。目标状态只在动作位置提供监督，不作为后续输入。因而它确实需要模型自行跟踪状态，不能直接读取上一步真值。〔App. C.1，PDF pp. 21–22〕

### 1.2 为什么三种任务需要的远程学习不同？

Fixed-FSA 在所有样本中共享同一张转移表，每次状态变化都受到附近损失监督。MQAR 的绑定每条样本都不同，“早先是否正确存入 $(a,7)$”只能由后来查询 $a$ 的损失来评价。Meta-FSA 兼有二者：表格是实例特定的，但每次使用该表转移时又有局部监督。这给后文诊断提供了可解释的任务顺序，而非仅按序列长短猜测梯度是否有用。

## 二：方法——从状态信用诊断到局部反向控制

### 2.1 状态信用如何形成参数梯度？

循环与读出分别为

$$
h_t=\Phi_\theta(h_{t-1},x_t),\qquad
\hat y_t=G_\psi(h_t),\qquad
\mathcal L=\sum_{t\in\mathcal I}\ell(\hat y_t,y_t).
$$

| 符号 | 含义 |
| --- | --- |
| $h_t$ | 每个物理 token 后的模型状态；多层状态可合并为一个向量 |
| $s_d$ | 任务定义的离散状态，与 $h_t$ 不同 |
| $\theta,\psi$ | 互不重叠的循环参数与读出参数 |
| $J_t=\partial h_t/\partial h_{t-1}$ | 状态转移 Jacobian；状态向量维度为 $d_h$ 时是 $d_h\times d_h$ |
| $P_t=\partial\Phi_\theta(h_{t-1},x_t)/\partial\theta$ | 固定输入状态时的局部参数 Jacobian，维度 $d_h\times d_\theta$ |
| $\lambda_t$ | 与 $h_t$ 同形状的状态信用，即 $\nabla_{h_t}\mathcal L$ |

单个未来损失 $\ell_\tau$ 的贡献是

$$
\lambda_t^{(\tau)}
=J_{t+1}^{\top}\cdots J_\tau^{\top}
\nabla_{h_\tau}\ell_\tau,
\qquad
\lambda_t=\sum_{\tau\in\mathcal I,\,\tau\ge t}\lambda_t^{(\tau)}.
$$

若初始状态不依赖 $\theta$，循环参数梯度为

$$
g=\nabla_\theta\mathcal L=\sum_t P_t^\top\lambda_t.
$$

因此路径是：未来损失 → 状态信用 → 局部参数映射 → 跨位置累加。测得最终参数梯度的大小，不能直接反推出状态信用在中途经历了什么；不同方向可以在映射或累加时相互抵消。读出参数的梯度另行计算。〔Sec. 3.1，PDF p. 4，式 (1)–(5)〕

### 2.2 两个诊断量分别回答不同问题

每隔 $H$ 个位置设置边界。在完全相同的前向轨迹与监督位置上，正常 BPTT 得到 $g_{\rm full}$；在边界切断梯度得到 $g_{\rm local}$。定义

$$
g_{\rm far}=g_{\rm full}-g_{\rm local},\qquad
p_{\rm far}=
\frac{\langle g_{\rm far},g_{\rm full}\rangle}
{\|g_{\rm full}\|_2^2}.
$$

$p_{\rm far}$ 衡量跨边界梯度沿完整参数梯度方向的有符号投影，不是概率，也不一定落在 $[0,1]$。哪些路径被算作“远程”取决于 $H$；它也不是 AdamW 等自适应优化器最后执行的参数更新。〔Sec. 3.2，PDF pp. 4–5，式 (6)–(8)〕

另一个探针只保留最后 32 个受监督位置的损失 $\mathcal L_{\rm late}$，测量同一组晚期损失传回更早状态后的范数：

$$
S_1(k)=
\frac{\|\nabla_{h_{b_k}}\mathcal L_{\rm late}\|_2}
{\|\nabla_{h_{b_{k^\star}}}\mathcal L_{\rm late}\|_2}.
$$

分母取损失窗口之前的最后一个边界。它测的是固定损失集合的端点范数保留比例，与使用所有原始损失的 $p_{\rm far}$ 不同。三层模型、序列长 1024、$H=128$ 的结果如下。

| 任务 | $p_{\rm far}$ | $S_1$，相隔约 895 个位置 | 解释 |
| --- | ---: | ---: | --- |
| Fixed-FSA | 0.021 | 约 0 | 远处损失几乎传不到早期，参数学习仍主要由局部监督支持 |
| Meta-FSA | 0.089 | 1.05 | 端点范数保留较好，仍存在上下文学习需求 |
| MQAR | 0.259 | 0.82 | 依赖远程路径最强，范数保留却不是最差 |

来源：表 2，PDF p. 5；完整测量协议见 App. A，p. 19。模型来自 100K 步 checkpoint，使用三个种子；每个 checkpoint 测量 8 个确定性留出 batch，每个 batch 8 条样本，先取种子内 batch 中位数再聚合。

MQAR 还做了参数梯度干预：

$$
g_\alpha=g_{\rm local}+\alpha g_{\rm far}.
$$

同一 1K 设置下，$\alpha=0$ 的准确率为 **0.60%**，$\alpha=1$ 为 **96.30%**；1024 符号随机猜测为约 **0.098%**。该对照说明跨边界信号对这项任务至关重要。它使用 $10^{-3}$ 学习率，不能与后续主实验的 $3\times10^{-4}$ 配置混为同一实验。〔App. A.3，PDF p. 19〕

这些结果支持作者把“远程路径是否必要”与“信号如何传输”分开。$S_1\approx1$ 也可能掩盖中途收缩再膨胀；因此 CST 测量局部边界变化，而不是只依据始末范数之比。

### 2.3 CST 的统一形式

把序列分成 $K$ 个连续 chunk，边界为 $b_0<\cdots<b_K$。此处的 $K$ 表示计算 chunk 数，不是前述 Meta-FSA 段数。令 $\mathcal L_k$ 为第 $k$ 块损失，

$$
\overline J_k=\frac{\partial h_{b_k}}{\partial h_{b_{k-1}}},
\qquad
q_{k-1}=\nabla_{h_{b_{k-1}}}\mathcal L_k.
$$

普通 BPTT 在边界上的递推为

$$
\lambda_{k-1}
=q_{k-1}+\overline J_k^\top\lambda_k,\qquad
\lambda_K=0.
$$

第一项是当前 chunk 自身的信用，第二项来自更晚 chunk。CST 在跨越当前块之前，先修改后者：

$$
\widetilde\lambda_k=\gamma_k\lambda_k,\qquad
\lambda_{k-1}=q_{k-1}+\overline J_k^\top\widetilde\lambda_k,
\qquad \gamma_k>0.
$$

遍历从最晚一个具有非空后续损失的内部边界开始。$\gamma_k=1$ 对应 BPTT；边界 detach 等效于把后续信用设为零；CST 保持图连通，以控制器选择正的增益。〔Sec. 4.1，PDF p. 6，式 (10)–(11)〕

**方向保持是局部性质。** 正标量不会旋转被修正的那个分量，但跨块传播后还会与 $q_{k-1}$ 相加，不同层或头也可能使用不同增益，所以最终参数更新的方向可以改变。教学例子：若 $q=(1,0)$、$\overline J^\top\lambda=(0,1)$，普通信用为 $(1,1)$；令 $\gamma=2$ 后变成 $(1,2)$。被放大的后续分量方向没变，合成信号方向却变了。这也解释了为何“损失定义不变”并不意味着仍在计算其精确梯度。

实现上，作者克隆而不 detach 暴露的边界状态，并注册 backward hook；控制器的参考量每次 backward 重置。合成任务对每个循环状态张量求一个 Frobenius 范数，包含本地 batch 全部维度；真实语言则每层每头单独归约 batch 与头内状态维度。无效或近零范数使用恒等增益。〔App. C.2，PDF p. 22〕

### 2.4 合成任务：Adjacent-CST 与 Event-CST

令 $n_k=\|\lambda_k\|_2$、$\widetilde n_k=\|\widetilde\lambda_k\|_2$。合成任务诊断主要发现局部收缩，因此采用 $\gamma_k\ge1$ 的单侧控制。

Adjacent-CST 参考下一个更晚边界的**修正后**范数：

$$
\gamma_k=
\operatorname{clip}\left(
\frac{\widetilde n_{k+1}}{\max(n_k,\epsilon)},1,\gamma_{\max}
\right).
$$

不触及上限时，$\widetilde n_k=\max(n_k,\widetilde n_{k+1})$；每个小幅回落都会被补偿。Event-CST 改为持有锚点 $A$，等累计下降足够明显才介入：

$$
\gamma_k=
\begin{cases}
\min\!\left(\dfrac{A}{\max(n_k,\epsilon)},\gamma_{\max}\right),
&n_k\le A/\rho,\\
1,&n_k>A/\rho,
\end{cases}
\qquad \rho>1.
$$

处理完当前边界后更新锚点：

$$
A\leftarrow
\begin{cases}
n_k,&n_k>A,\\
\widetilde n_k,&n_k\le A/\rho,\\
A,&A/\rho<n_k\le A.
\end{cases}
$$

最晚有效边界初始化 $A=n_{K-1}$ 并使用增益 1；无效或近零信号不更新锚点。新的峰值提高参照；小幅下降继续累计；触发后锚点采用**实际达到的**修正范数，避免 gain cap 生效时仍追逐一个无法恢复的目标。〔Sec. 5.1，PDF p. 7，式 (12)–(14)〕

一个教学例子：设 $A=10,\rho=1.5,\gamma_{\max}=2$。当前范数为 8 时不触发，锚点仍为 10；随后范数为 6 时触发，$\gamma=10/6$，恢复到 10；若下一处降到 3，则增益受限为 2，只恢复到 6，锚点也降至 6。例中范数是各边界当时观测到的输入信号，不是假设整条反向轨迹与普通 BPTT 相同。

### 2.5 EMA replay：复用边界位置，减少边界测量

Event-CST 虽然只在少量边界修正，仍须每一步检查所有候选边界。EMA replay 进一步利用“重要边界位置随训练变化较慢”这一经验性质。

第 $p$ 次密集探针使用恒等增益，测量各状态分量 $q$ 的有符号对数收缩，并跨分量取中位数：

$$
d_k^{(p)}
=\operatorname{median}_q
\log\frac{n_{k+1}^{(q,p)}}{n_k^{(q,p)}},
\qquad
\overline d_k^{(p)}
=\beta\overline d_k^{(p-1)}+(1-\beta)d_k^{(p)}.
$$

正值表示向更早处传播时范数减小。规划器沿反向顺序累积这份平滑曲线，在预测回落达到 $\log\rho$ 时选择边界，并模拟受 cap 限制的恢复。普通训练步只暴露这些位置，但依据**当前 minibatch 的信用**重新判断事件、计算增益。密集探针步本身执行普通 BPTT 更新，并非额外执行一次带修改的训练。〔Sec. 5.1、App. C.3，PDF pp. 8、22〕

若密集候选数为 $B$、普通步暴露 $R$ 个边界、每 $P$ 步探测一次，边界开销从 $\mathcal O(B\,\operatorname{size}(h))$ 降到摊销的 $\mathcal O((R+B/P)\operatorname{size}(h))$。这是边界相关开销，训练仍保留完整时间计算图。

### 2.6 真实语言：对数范数的双向、逐头稳定化

真实文本探针每隔 64 token 观测一次信用。为粗略修正“越早的边界接收越多后续损失”，诊断把范数除以剩余目标数的平方根：最后五次快照中，最早／最晚归一化范数比的中位数为 0.23；最终快照中 83.6% 的样本—层—头轨迹在最早处较弱。与此同时，相邻边界绝对 $\log_2$ 范数变化的中位数为 0.580，即约 1.50 倍；90 分位数为 3.164，即约 8.96 倍。局部变化双向且不同头差异明显。这个归一化只是诊断启发式，控制器使用原始、未归一化的信用。〔Sec. 6.1，PDF pp. 11–12〕

每层每头定义

$$
n_k^{(\ell,h)}=\|\lambda_k^{(\ell,h)}\|_F,\qquad
z_k=\log\max(n_k,\epsilon).
$$

省略层与头下标后，控制器是

$$
d_k=z_k-m,\qquad
\gamma_k=\operatorname{clip}\bigl(e^{-\alpha d_k},c^{-1},c\bigr),
\qquad
\widetilde\lambda_k=\gamma_k\lambda_k,
$$

$$
m\leftarrow\beta m+(1-\beta)z_k.
$$

参考 $m$ 在最晚有效边界初始化为 $z_{K-1}$；向更早处扫描时更新。这里的 EMA 沿**一次 backward 的边界序列**更新，与 EMA replay 跨**训练探针**平滑边界计划不同。参考使用当前干预前的 $z_k$，但该信号已可能包含更晚边界的修正，因此存在间接反馈。〔式 (16)–(17)，PDF p. 12〕

未触及 cap 时，

$$
\log\|\widetilde\lambda_k\|-m
=(1-\alpha)(z_k-m),
$$

即将当前对数范数偏差收缩一定比例。本文设置为 $H=64,\alpha=0.10,\beta=0.90,c=1.10,\epsilon=10^{-12}$：每次修正消除 10% 的对数偏差，增益限定在约 $[0.9091,1.10]$。过小则放大、过大则衰减；这与只处理明显收缩的 Event-CST 是不同实例化。

## 三：实验——比较对象与统计口径

### 3.1 合成任务主实验

主模型为三层 Gated DeltaNet，隐藏宽度 512、16 个头。Meta-FSA 使用 32 个任务状态、4 个动作，训练物理长度 1024，段内深度 $D=4$；全序列 BPTT、无长度课程，500 步 warmup 后固定学习率 $3\times10^{-4}$，全局 batch 512，共 100K 更新。报告种子 42、43、44 的均值与样本标准差。〔Sec. 5.2，PDF p. 8〕

评测长度为 $\{1,2,4,8,16,32,64,128\}$K，深度为 $\{4,8,16,32\}$，每个单元 1024 条样本。核心指标是受监督任务位置的准确率，越高越好；“长期平均”特指四种深度与 16K–128K 的 16 个单元平均。

| 对照 | 目的 | 主配置 |
| --- | --- | --- |
| BPTT | 原始精确反传基线 | 完整时间图 |
| Adjacent-CST | 检验逐边界补偿收缩的收益 | 参考下一更晚边界的修正范数 |
| Event-CST | 检验等待明显累计收缩再介入 | $H=32,\rho=1.5,\gamma_{\max}=2$ |
| EMA replay | 减少边界暴露成本 | 同上控制器，$P=100,\beta=0.9$ |

跨任务实验保持三层模型与 1K 训练，但 Fixed-FSA 使用 32 状态／8 动作，MQAR 固定 128 个绑定。它们分别在报告的外推网格上选取控制器：Fixed-FSA 的 $(\rho,\gamma_{\max})=(1.2,1.25)$，MQAR 为 $(1.35,2.25)$。因此跨任务结果应理解为经调参的迁移证据，评测网格并未独立于选择过程。〔Sec. 5.3，PDF p. 10〕

### 3.2 语言模型实验

语言模型共 **123.30M 参数**，宽度 768，由一个 32-token 滑窗注意力块和 12 个 Gated DeltaNet 块组成；循环块各有 16 个 48 维头，SwiGLU 中间宽度 1792。GPT-2 输入嵌入与输出权重共享，补齐词表为 50,304。〔Sec. 6.2、App. B.1，PDF pp. 12、19〕

LongData 共 474 个 Arrow shard，留出整整 16 个用于验证，其余 458 个训练；文档以 EOT 分隔并打包为 4096-token 序列。BPTT 与 CST 使用相同初始化和数据种子，在 8 张 H100 上训练 20K 更新，global batch 96，约 7.86B token。优化器为 AdamW，学习率峰值 $6\times10^{-4}$、67 步 warmup、余弦衰减到 $6\times10^{-5}$，betas $(0.9,0.95)$、weight decay 0.1，参数梯度范数裁剪阈值 1.0。CST 与常规参数梯度裁剪可同时使用，因为干预位置不同。

| 评测集 | 相对训练分布 | 固定评测样本 | 最大长度与倍率 |
| --- | --- | --- | --- |
| LongData | 域内，来自留出的 shard | 128 个固定窗口 | 32K，8× |
| Books3 | 域外 | 128 个固定图书窗口 | 128K，32× |
| GovReport | 域外 | LongPPL 的 50 文档集合 | 32K，8× |

推理直接运行模型的循环形式，不做位置重缩放。全 token 与关键 token 的负对数似然（NLL）均按目标 token 数加权，越小越好；后续统一用

$$
\Delta\mathrm{NLL}=\mathrm{NLL}_{\mathrm{BPTT}}-\mathrm{NLL}_{\mathrm{CST}}
$$

表示收益，正值有利于 CST。

语言控制器共搜索 $3\times2\times3=18$ 组配置：$\alpha\in\{0.03,0.10,0.30\}$、$\beta\in\{0.90,0.97\}$、$c\in\{1.10,1.25,1.50\}$，每组均训练 20K 步；最后按 LongData-32K 与 Books3-128K NLL 选择。主结果比较的是最终选中的一次 CST 训练与一次 BPTT 训练，评测端点同时参与选择。〔App. B.1，PDF pp. 19–20〕

### 3.3 “关键 token”如何定义？

这些 token 不是按 CST 的收益挑选。LongData 与 Books3 使用固定的 Qwen2-72B-Instruct 标注器，比较同一 token 在完整上下文和 4K 上下文中的 NLL。位置超过 4K，并且同时满足

$$
\mathrm{NLL}_{\rm short}-\mathrm{NLL}_{\rm full}>2.0,\qquad
\mathrm{NLL}_{\rm full}<2.0
$$

才被选择：完整上下文下应较易预测，而移除远处信息后明显变难。标注器使用固定 checkpoint，长前缀采用其 131,072-token YaRN 配置；逐块评分的目标块长为 1024。GovReport 使用 LongPPL 发布的标签。〔App. B.2，PDF p. 20〕

跨 tokenizer 对齐采用 UTF-8 字节区间；只有被评模型目标 token 的整个字节区间包含于选定区间，才标为 key token，部分重叠不计。所有 mask 在 BPTT/CST 比较前固定。4K 时没有符合这一定义的远程关键目标，所以 key-token NLL 未定义，而不是数值为零。

## 四：结果——哪些收益成立，代价在哪里？

### 4.1 Meta-FSA：长期准确率改善，但训练长度存在取舍

![图 1：Meta-FSA 在四种转移深度上的长度外推](figures/fig-01.png)

原文图 1，PDF p. 8。横轴是物理长度及相对 1K 训练的倍率，纵轴是准确率；四个面板依次为 $D=4,8,16,32$，蓝色 BPTT、红色 Event-CST，误差条是三个训练种子的样本标准差。各面板纵轴范围不同，应在同一深度内比较两条曲线。

在训练设置 1K、$D=4$ 上，Event-CST 比 BPTT **低 3.55 个百分点**；在 16K–128K 的 16 个单元中，三种子平均结果全部更高，平均提高 **6.58 个百分点**。128K 时：

| 转移深度 | 128K 时的准确率增益 |
| --- | --- |
| $D=4$，训练见过的深度 | +6.98 个百分点，21.16%→28.14% |
| $D=8$ | +4.77 个百分点 |
| $D=16$ | +4.09 个百分点 |
| $D=32$ | +3.87 个百分点 |

来源：Sec. 5.2.1，PDF p. 9。16 个聚合单元均改善，并不意味着每次训练都改善：48 个配对的“种子×单元”比较只有 29 个为正；$D=4$、128K 这个点则三个种子都改善。它显示的是平均外推行为改善，同时保留明显的训练随机性。

### 4.2 稳定化有益，训练吞吐损失也明显

![图 2：CST 变体的准确率与训练吞吐](figures/fig-02.png)

原文图 2，PDF p. 9。左侧长期分数是四个深度、16K–128K 的平均准确率；右侧吞吐以 BPTT 为 1。EMA replay 的吞吐标记是等价稀疏 CUDA Graph 基准推算值。

| 方法／实现 | 长期平均准确率 | 吞吐（百万 token/s） | 证据性质 |
| --- | ---: | ---: | --- |
| BPTT，直接实现 | 18.5% | 0.955 | 实测 |
| Adjacent-CST，CUDA Graph | 22.1% | 图示为 BPTT 的 55.1% | 实测图中相对值 |
| Event-CST，eager | 25.1% | 0.119 | 实测 |
| Event-CST，CUDA Graph | 25.1% | 0.526 | 实测 |
| EMA replay，稀疏 CUDA Graph | 23.2% | 中心估计 0.808，范围 0.75–0.82 | 根据等价稀疏图负载估计 |

吞吐设置是一张 A100 80 GB、batch 64，衡量各实现记录的完整训练步。因此比较包含实现路径差异。CUDA Graph 使密集 Event-CST 达到 BPTT 的 **55.1%**，相对其 eager 实现加速约 **4.414×**；峰值显存从 10,875 MiB 升到 11,363 MiB，增加 488 MiB。

Event-CST 相比 Adjacent-CST 多约 3.0 个百分点，支持等待累计收缩再处理的设计。EMA replay 每步平均边界数从 31 降至 **6.91**，减少 **77.7%**；准确率比 Event-CST 低约 **1.91 个百分点**，推算吞吐约为 BPTT 的 **84.6%**。不能把这一估计表述为已经测得的完整训练加速。〔Sec. 5.2.2、App. C.3/C.5，PDF pp. 9、22–23〕

控制器并非到处强行放大：平均仅 **5.8%** 的“边界×状态分量”决策触发，每条状态分量轨迹约 **1.79** 次修正，所有候选的平均增益为 **1.053**。图 6 中约 3.7× 的累计量是多个控制系数的乘积，不是最终 CST/BPTT 梯度范数比；传播过程中还有 Jacobian 与局部损失加入。〔App. C.4，PDF pp. 22–23〕

### 4.3 跨任务：需要保留实例上下文时，收益更随长度增长

![图 3：Fixed-FSA 与 MQAR 的长度曲线](figures/fig-03.png)

原文图 3，PDF p. 10。左侧 Fixed-FSA 曲线几乎水平；右侧 MQAR 随长度增加明显下降，而 Event-CST 延缓下降。误差条仍为三种子样本标准差。

| 任务与统计区间 | BPTT | Event-CST | 准确率增益 |
| --- | ---: | ---: | ---: |
| Fixed-FSA，16K–128K 平均 | 41.58% | 43.76% | +2.18 个百分点 |
| MQAR，2K–128K 平均 | 74.95% | 80.61% | +5.66 个百分点 |
| MQAR，128K | 25.56% | 41.66% | +16.10 个百分点 |

Fixed-FSA 的长度曲线平坦，只能说明延长序列未引入明显额外衰退，约 42% 的准确率表明固定转移规则本身仍未充分学会。MQAR 始终保存 128 个绑定，延长的是后续查询时间，因此 128K 的提升对应保留与重复使用的改善。上述两任务各自的控制器在同一报告网格上调过参。〔Sec. 5.3，PDF p. 10〕

### 4.4 放大模型后，收益可能反向

![图 4：较大模型在两种任务设置上的增益热图](figures/fig-04.png)

原文图 4，PDF p. 11。模型为 8 层、宽度 1024、32 头；每格为相对原 BPTT 基线的准确率百分点变化，蓝色有利于 BPTT，红色有利于 Event-CST。两面板的绝对训练长度不同，应按括号里的外推倍率比较。

| 任务／训练配置 | $D=4$ | $D=8$ | $D=16$ | $D=32$ |
| --- | ---: | ---: | ---: | ---: |
| 32 状态／4 动作／1K，$(\rho,\gamma_{\max})=(1.5,2)$ | +1.85 | −9.30 | −6.39 | −4.06 |
| 64 状态／8 动作／2K，$(1.25,1.5)$ | +15.69 | +6.79 | +4.03 | +2.06 |

表中均为训练长度 **16–64×** 范围的平均准确率增益，单位为百分点。第一行只对训练深度 $D=4$ 有小幅收益，所有未见深度都下降；第二行四种深度均改善，平均增加 **7.14 个百分点**。第二种任务在**完整评测网格**上的准确率是 32.03% 对 21.84%，这个平均口径与上表不同。〔Sec. 5.4，PDF p. 11〕

作者认为较大模型在更难设置仍可受益。本文分析更强调实验能直接说明的部分：状态数、动作数、训练长度与控制器同时变化，不能仅凭两面板差异确定“难度提高”或“过拟合消失”就是原因。

### 4.5 语言模型：全 token 稳定小幅改善，关键 token 的改善更大

最长评测长度的全 token 结果：

| 数据集／长度 | BPTT NLL | CST NLL | $\Delta$NLL |
| --- | ---: | ---: | ---: |
| LongData／32K | 1.523420 | 1.516576 | +0.006843 |
| Books3／128K | 3.524265 | 3.518316 | +0.005949 |
| GovReport／32K | 3.108765 | 3.099039 | +0.009726 |

同一长度的关键 token 结果：

| 数据集／长度 | BPTT key NLL | CST key NLL | $\Delta$key NLL | 相对全 token 增益 |
| --- | ---: | ---: | ---: | ---: |
| LongData／32K | 4.308315 | 4.284383 | +0.023932 | 3.50× |
| Books3／128K | 6.458054 | 6.443285 | +0.014770 | 2.48× |
| GovReport／32K | 5.913384 | 5.869202 | +0.044182 | 4.54× |

来源：表 3，PDF p. 13。原表增益由未舍入的损失计算后独立舍入，因此与展示损失直接相减可能相差 $10^{-6}$；这里保留原表数值。3.50× 等比值比较的是两种 token 集合的**NLL 绝对降幅**，不是准确率倍数或困惑度下降百分比。

所有 14 个数据集—长度设置的全 token NLL 都改善，平均收益约 0.00724；但关键 token 并非处处改善：

| 数据集 | 长度 | 关键目标数 | $\Delta$key NLL |
| --- | ---: | ---: | ---: |
| LongData | 8K | 764 | +0.024494 |
| LongData | 16K | 7,130 | +0.025832 |
| LongData | 32K | 39,054 | +0.023932 |
| Books3 | 8K | 317 | +0.058811 |
| Books3 | 16K | 2,836 | **−0.019084** |
| Books3 | 32K | 11,074 | +0.007481 |
| Books3 | 64K | 34,101 | +0.010558 |
| Books3 | 128K | 95,993 | +0.014770 |
| GovReport | 8K | 277 | **−0.049017** |
| GovReport | 16K | 2,127 | +0.041046 |
| GovReport | 32K | 3,147 | +0.044182 |

来源：表 4，PDF p. 13。短长度关键目标少，估计的不确定性较大；Books3-16K 和 GovReport-8K 的负收益仍需如实保留。Books3 未计算配对文档置信区间。

真实语言控制器在 2021 个训练记录点上，37.89% 的增益用于放大，60.52% 用于衰减，达到上、下 cap 的比例分别为 2.90%、3.24%。18 组配置仅 5 组同时改善两个选择端点，$\alpha=0.30$ 的强干预平均更差。这支持采用温和设置，但论文没有单侧控制器的语言消融来单独证明“衰减不可缺少”。〔Sec. 6.3，PDF pp. 12–13〕

### 4.6 上下文移除：能否把收益归因于更好的远程信息利用？

关键 token 上表现更好，也可能只是模型更善于利用局部线索。作者因此在**完全相同的目标位置**重新评分：完整前缀条件与只保留最近 4K 的条件比较。短上下文条件从干净的循环状态重新计算，绝不复用被删除前缀形成的隐藏状态。〔Sec. 6.4，PDF p. 14〕

定义上下文使用收益

$$
\Delta_{\rm context}=
(\mathrm{NLL}_{\rm short}-\mathrm{NLL}_{\rm full})_{\rm CST}
-
(\mathrm{NLL}_{\rm short}-\mathrm{NLL}_{\rm full})_{\rm BPTT}.
$$

它也等于完整上下文中的模型间增益减去短上下文中的模型间增益，即 $\Delta_{\rm full}-\Delta_{\rm short}$。正值表示 CST 从 4K 以前的信息获得了更大帮助。

| 数据集／长度 | $\Delta_{\rm context}$ | 95% 配对文档 bootstrap 区间 |
| --- | ---: | --- |
| LongData／8K | −0.000107 | [−0.041152, 0.041824] |
| LongData／16K | +0.019479 | [0.006917, 0.032245] |
| LongData／32K | +0.014703 | [0.009604, 0.020999] |
| GovReport／32K | +0.002684 | [−0.002305, 0.007471] |

LongData-32K 上，完整上下文的关键 token 收益约 0.02393，短上下文约 0.00923，两者之差约 0.01470；16K 与 32K 的区间均排除零。GovReport-32K 的关键 token 本身有收益，但上下文使用增益区间跨零，尚不足以确认其远程信息利用也有改善。〔表 5–6及 App. B.4，PDF p. 21〕

置信区间的单位是文档，进行 20,000 次配对重采样；同文档多个窗口整体进入同一次采样，每次按总损失／合格目标总数重算 NLL。它衡量固定训练结果在文档抽样上的变化，没有覆盖独立训练种子的波动，也未修正 18 组配置选择造成的偏差。LongData-32K 的 key NLL 收益区间为 [0.011511, 0.037099]，GovReport-32K 为 [0.004626, 0.082771]；LongData-16K 的 key NLL 区间跨零，而其上下文使用增益区间不跨零，两者衡量的量不同。

位置分桶结果也支持 LongData 的结论：仅考察 16K–32K 区间，关键 token 增益为 0.023537，区间 [0.011159, 0.037012]；上下文使用增益为 0.013666，区间 [0.008616, 0.020309]。改善不只是累计前缀里较早位置的贡献。

### 4.7 附录中的 Transformer 对照应如何读？

![图 5：同训练预算下的 Books3 长度外推示例](figures/fig-05.png)

原文图 5，PDF p. 20。两模型约 123M 参数，都在 LongData 的 4K 序列上训练 7.86B token。Transformer 在训练范围外使用 dynamic YaRN，循环 CST 使用原生循环推理；横轴为评测长度，纵轴为全 token NLL，越低越好。128K 时前者为 **4.415**，后者为 **3.518**。

这张图说明在所给 Transformer 配置下，位置扩展后仍会出现严重长度退化。但它同时更换了架构和训练规则，CST 自身的净贡献应以同架构 BPTT 对照为准：Books3-128K 是 **3.524265→3.518316**。不能把 4.415→3.518 的全部差距归给 CST。〔App. B.3，PDF p. 20〕

## 五：结论——贡献在于干预位置与诊断分解

### 5.1 最值得带走的理解

**任务需要决定信用需求。** 固定规则可以从局部标签学习；实例特定记忆则要靠后来的使用结果评价早先写入。只看时间 Jacobian 的范数衰减，无法判断某项任务是否真正被远程信用限制。

**状态信用提供了一个直接的训练干预点。** CST 在信用映射为参数梯度之前控制其局部尺度，能保留前向架构与部署方式。这使它在概念上不同于增加记忆容量、修改位置编码或在最终参数梯度上裁剪。

**有用控制器依赖实际信用动力学。** 合成任务的 Event-CST 与自然文本的双向逐头 CST 共享同一反向干预原则，但参考量、分量粒度、触发方式都不同。EMA replay 又解决了另一问题：如何减少测量这些边界的成本。

### 5.2 会改变实践判断的限制

第一，尺度修复无法创造丢失的方向，也无法消除不同时间贡献间的干扰；被修正分量局部方向保持，不代表全局更新方向保持。CST 采用的是有意修改过的学习信号，其作用由实验支持，而非原目标精确梯度或普遍稳定性证明。

第二，收益与代价需要一起看。主 Meta-FSA 长期准确率改善，但训练设置准确率下降；密集 CUDA Graph Event-CST 的训练吞吐只有 BPTT 的 55.1%。较大模型在 S32/A4 的未见深度上出现明确负收益，说明控制器不能无条件照搬。

第三，真实语言证据集中于一个 123M 架构和每个最终方法一次训练；配置在报告端点上选择。LongData 的上下文移除结果较强，GovReport 对同一机制的证据尚未明确。进一步判断可迁移性，应优先采用独立控制器选择集、多种子训练，并在同架构条件下比较 Event-CST、双向 CST 和 BPTT。

### 5.3 附录的失败探索带来的启发

作者报告长度课程、状态自蒸馏、量化状态以及完全自适应的信用控制均未得到稳定收益。状态自蒸馏缺少合适的目标状态；量化方案需同时学习码本与转移；去掉固定触发或 gain cap 后，控制器更容易受到嘈杂边界统计影响。它们说明该研究过程中的具体实现未奏效，不足以判定这些方向本身无效。〔App. D，PDF pp. 23–24〕

本次分析认为，下一步最有辨别力的实验是：保持模型、数据、训练长度和选择预算一致，单独改变控制器的“只放大／双向”“整体状态／逐头”“密集／稀疏”三个设计，结合上下文移除检验与直接实测吞吐，确定性能改善究竟来自哪里。这样才能将当前有希望的反向信号控制方法，推进为可复用的训练方案。