Learning Length-Extrapolatable Recurrent Models：中文研读笔记
- 作者：Hanwen Jiang（Adobe Research）。
- 原文版本：arXiv:2609.09157v1，2026-09-08 提交；获取与研读日期：2026-10-29。
- 原文：本地 PDF · arXiv PDF；配套：英文组会幻灯片 · 可编辑 TeX。
- 发表：未查到正式发表信息（截至 2026-10-29）；arXiv 记录与作者主页未提供可确认的会议或期刊发表依据。
- 代码：未查到公开代码（截至 2026-10-29）；作者 GitHub。
论文总览
这篇论文研究：怎样让只在短序列上训练的循环模型，在更长的时间跨度上仍能有效保存和使用上下文？ 作者把注意力放在“状态信用信号”（state credit）：未来损失回传到早期隐藏状态的梯度。它先经过局部参数 Jacobian，再汇总成优化器接收的参数梯度；因此可以在汇总之前直接干预。
方法 CST（Credit Stabilization through Time，跨时间信用稳定化） 在训练的反向传播中，以正标量缩放分块边界上的状态信用。合成任务采用只补偿明显收缩的 Event-CST；真实语言采用逐层、逐头的双向平滑控制器，同时处理收缩与膨胀。前向函数、损失定义和推理结构保持原样，但修改后的反向信号不再是原目标的精确梯度。
主要结果有两个层次：在 1K 训练的 Meta-FSA 上，Event-CST 在 16K–128K 的 16 个“长度×转移深度”设置中均提高三种子平均准确率，平均增加 6.58 个百分点；在 4K 训练的 123.30M 语言模型上，全部 14 个“数据集×长度”设置的全 token NLL 都下降，平均下降 0.00724。前者最大外推倍率为 128×，后者为 32×。LongData 的上下文移除实验进一步支持远处信息利用的改善；较大模型在部分任务设置上的退步，则说明控制器效果依赖任务与训练配置。
结构地图
以下页码均为从 1 开始的原文 PDF 页码，本版本与印刷页码一致。
| 原文章节 | 在论证中的作用 | PDF 页码与关键证据 |
|---|---|---|
| 1 Introduction | 提出“短训练、长部署”，区分状态信用与参数梯度 | pp. 1–2 |
| 2 A Suite of Controlled Synthetic Tasks | 分离记忆负载、保留时间和转移深度 | pp. 2–3，表 1 |
| 3 BPTT and Temporal-Credit Diagnosis | 测量远程路径必要性与状态信用传输 | pp. 3–6，式 (1)–(9)，表 2 |
| 4 Method | 定义分块边界上的 CST 干预 | pp. 6–7，式 (10)–(11) |
| 5 Controlled-Task Specialization and Verification | Event-CST、EMA replay、合成任务与规模实验 | pp. 7–11，式 (12)–(15)，图 1–4 |
| 6 Real-Data Specialization and Language Modeling | 双向逐头控制器、语言建模与上下文移除 | pp. 11–14，式 (16)–(17)，表 3–4 |
| 7 Related Work；8 Conclusion | 定位方法、总结收益及具体局限 | pp. 14–15 |
| A Additional Diagnostic Details | 补充诊断协议及 MQAR 梯度干预 | p. 19 |
| B Language-Model Statistical Analysis | 模型配置、关键 token、Transformer 对照和置信区间 | pp. 19–21，图 5，表 5–6 |
| C Additional Method Details | 序列化、hook、稀疏计划与控制器行为 | pp. 21–23，图 6–7 |
| D Research Process and Unsuccessful Explorations | 未获得稳定收益的探索方向 | pp. 23–24 |
一：动机——长序列中的困难，取决于监督需要传多远
循环模型用固定大小的状态反复执行同一个更新规则，从结构上容易运行到训练长度以外。但“能够继续执行”与“学到足够可靠的长期规则”之间存在差距。作者的问题是：训练时的损失，是否把有用信号送到了真正需要学习的早期计算？
传统解释强调时间 Jacobian 连乘导致梯度消失或爆炸。本文补充了一个关键条件：只有任务需要远处后果来评价早期计算时，远程信用缺失才会成为学习障碍。 如果每次规则应用都有就近标签，模型可以从大量局部损失学到共享规则，即使很晚的损失几乎传不到序列开头。〔Sec. 1、3，PDF pp. 1、4–6〕
1.1 用三个任务拆开不同需求
| 任务 | 每条样本的上下文 | 预测如何产生 | 延长序列主要增加什么 |
|---|---|---|---|
| Fixed-FSA | 无实例特定上下文，$M=0$ | 固定状态转移 $s_d=F(s_{d-1},u_d)$，每步预测 $s_d$ | 同一规则的连续应用次数，$N=D$ |
| MQAR | $M$ 个键值绑定 | 每个 query 独立查询原始上下文，$y_n=f(\mathcal C,u_n)$ | 信息必须保持可访问的时间，$D=0$ |
| Meta-FSA | 每条样本随机生成的状态转移表 | 多个独立初始化的段，每段执行 $D$ 步；$N=KD$ | 转移表的保留时间与段内推演深度 |
这里 $M$ 是可寻址上下文条目数，$N$ 是任务输入数，$D$ 是依赖前一步结果的转移深度。Meta-FSA 每段开始时重置的是任务状态，循环模型的隐藏状态持续传递，仍需保存最初的转移表。实验固定 $M$，研究时间跨度与深度外推，因此结果不涉及记忆容量随长度增加。〔Sec. 2，PDF pp. 2–3〕
还应区分逻辑步数与物理 token 长度 $T$。Meta-FSA 把一条转移写成 $(s,u,s')$ 三个 token，前缀占 $2+3M$ 个 token；每段再输入一个初始状态和 $D$ 个动作。目标状态只在动作位置提供监督，不作为后续输入。因而它确实需要模型自行跟踪状态，不能直接读取上一步真值。〔App. C.1，PDF pp. 21–22〕
1.2 为什么三种任务需要的远程学习不同？
Fixed-FSA 在所有样本中共享同一张转移表，每次状态变化都受到附近损失监督。MQAR 的绑定每条样本都不同，“早先是否正确存入 $(a,7)$”只能由后来查询 $a$ 的损失来评价。Meta-FSA 兼有二者：表格是实例特定的，但每次使用该表转移时又有局部监督。这给后文诊断提供了可解释的任务顺序，而非仅按序列长短猜测梯度是否有用。
二：方法——从状态信用诊断到局部反向控制
2.1 状态信用如何形成参数梯度？
循环与读出分别为
| 符号 | 含义 |
|---|---|
| $h_t$ | 每个物理 token 后的模型状态；多层状态可合并为一个向量 |
| $s_d$ | 任务定义的离散状态，与 $h_t$ 不同 |
| $\theta,\psi$ | 互不重叠的循环参数与读出参数 |
| $J_t=\partial h_t/\partial h_{t-1}$ | 状态转移 Jacobian；状态向量维度为 $d_h$ 时是 $d_h\times d_h$ |
| $P_t=\partial\Phi_\theta(h_{t-1},x_t)/\partial\theta$ | 固定输入状态时的局部参数 Jacobian，维度 $d_h\times d_\theta$ |
| $\lambda_t$ | 与 $h_t$ 同形状的状态信用，即 $\nabla_{h_t}\mathcal L$ |
单个未来损失 $\ell_\tau$ 的贡献是
若初始状态不依赖 $\theta$，循环参数梯度为
因此路径是：未来损失 → 状态信用 → 局部参数映射 → 跨位置累加。测得最终参数梯度的大小，不能直接反推出状态信用在中途经历了什么；不同方向可以在映射或累加时相互抵消。读出参数的梯度另行计算。〔Sec. 3.1，PDF p. 4，式 (1)–(5)〕
2.2 两个诊断量分别回答不同问题
每隔 $H$ 个位置设置边界。在完全相同的前向轨迹与监督位置上，正常 BPTT 得到 $g_{\rm full}$；在边界切断梯度得到 $g_{\rm local}$。定义
$p_{\rm far}$ 衡量跨边界梯度沿完整参数梯度方向的有符号投影，不是概率，也不一定落在 $[0,1]$。哪些路径被算作“远程”取决于 $H$；它也不是 AdamW 等自适应优化器最后执行的参数更新。〔Sec. 3.2，PDF pp. 4–5，式 (6)–(8)〕
另一个探针只保留最后 32 个受监督位置的损失 $\mathcal L_{\rm late}$，测量同一组晚期损失传回更早状态后的范数：
分母取损失窗口之前的最后一个边界。它测的是固定损失集合的端点范数保留比例，与使用所有原始损失的 $p_{\rm far}$ 不同。三层模型、序列长 1024、$H=128$ 的结果如下。
| 任务 | $p_{\rm far}$ | $S_1$，相隔约 895 个位置 | 解释 |
|---|---|---|---|
| Fixed-FSA | 0.021 | 约 0 | 远处损失几乎传不到早期，参数学习仍主要由局部监督支持 |
| Meta-FSA | 0.089 | 1.05 | 端点范数保留较好，仍存在上下文学习需求 |
| MQAR | 0.259 | 0.82 | 依赖远程路径最强，范数保留却不是最差 |
来源：表 2，PDF p. 5；完整测量协议见 App. A，p. 19。模型来自 100K 步 checkpoint，使用三个种子；每个 checkpoint 测量 8 个确定性留出 batch，每个 batch 8 条样本，先取种子内 batch 中位数再聚合。
MQAR 还做了参数梯度干预：
同一 1K 设置下，$\alpha=0$ 的准确率为 0.60%，$\alpha=1$ 为 96.30%；1024 符号随机猜测为约 0.098%。该对照说明跨边界信号对这项任务至关重要。它使用 $10^{-3}$ 学习率，不能与后续主实验的 $3\times10^{-4}$ 配置混为同一实验。〔App. A.3，PDF p. 19〕
这些结果支持作者把“远程路径是否必要”与“信号如何传输”分开。$S_1\approx1$ 也可能掩盖中途收缩再膨胀；因此 CST 测量局部边界变化，而不是只依据始末范数之比。
2.3 CST 的统一形式
把序列分成 $K$ 个连续 chunk，边界为 $b_0<\cdots 普通 BPTT 在边界上的递推为 第一项是当前 chunk 自身的信用，第二项来自更晚 chunk。CST 在跨越当前块之前，先修改后者： 遍历从最晚一个具有非空后续损失的内部边界开始。$\gamma_k=1$ 对应 BPTT；边界 detach 等效于把后续信用设为零；CST 保持图连通，以控制器选择正的增益。〔Sec. 4.1，PDF p. 6，式 (10)–(11)〕 方向保持是局部性质。 正标量不会旋转被修正的那个分量，但跨块传播后还会与 $q_{k-1}$ 相加，不同层或头也可能使用不同增益，所以最终参数更新的方向可以改变。教学例子：若 $q=(1,0)$、$\overline J^\top\lambda=(0,1)$，普通信用为 $(1,1)$；令 $\gamma=2$ 后变成 $(1,2)$。被放大的后续分量方向没变，合成信号方向却变了。这也解释了为何“损失定义不变”并不意味着仍在计算其精确梯度。 实现上，作者克隆而不 detach 暴露的边界状态，并注册 backward hook；控制器的参考量每次 backward 重置。合成任务对每个循环状态张量求一个 Frobenius 范数，包含本地 batch 全部维度；真实语言则每层每头单独归约 batch 与头内状态维度。无效或近零范数使用恒等增益。〔App. C.2，PDF p. 22〕 令 $n_k=\|\lambda_k\|_2$、$\widetilde n_k=\|\widetilde\lambda_k\|_2$。合成任务诊断主要发现局部收缩，因此采用 $\gamma_k\ge1$ 的单侧控制。 Adjacent-CST 参考下一个更晚边界的修正后范数： 不触及上限时，$\widetilde n_k=\max(n_k,\widetilde n_{k+1})$；每个小幅回落都会被补偿。Event-CST 改为持有锚点 $A$，等累计下降足够明显才介入： 处理完当前边界后更新锚点： 最晚有效边界初始化 $A=n_{K-1}$ 并使用增益 1；无效或近零信号不更新锚点。新的峰值提高参照；小幅下降继续累计；触发后锚点采用实际达到的修正范数，避免 gain cap 生效时仍追逐一个无法恢复的目标。〔Sec. 5.1，PDF p. 7，式 (12)–(14)〕 一个教学例子：设 $A=10,\rho=1.5,\gamma_{\max}=2$。当前范数为 8 时不触发，锚点仍为 10；随后范数为 6 时触发，$\gamma=10/6$，恢复到 10；若下一处降到 3，则增益受限为 2，只恢复到 6，锚点也降至 6。例中范数是各边界当时观测到的输入信号，不是假设整条反向轨迹与普通 BPTT 相同。 Event-CST 虽然只在少量边界修正，仍须每一步检查所有候选边界。EMA replay 进一步利用“重要边界位置随训练变化较慢”这一经验性质。 第 $p$ 次密集探针使用恒等增益，测量各状态分量 $q$ 的有符号对数收缩，并跨分量取中位数： 正值表示向更早处传播时范数减小。规划器沿反向顺序累积这份平滑曲线，在预测回落达到 $\log\rho$ 时选择边界，并模拟受 cap 限制的恢复。普通训练步只暴露这些位置，但依据当前 minibatch 的信用重新判断事件、计算增益。密集探针步本身执行普通 BPTT 更新，并非额外执行一次带修改的训练。〔Sec. 5.1、App. C.3，PDF pp. 8、22〕 若密集候选数为 $B$、普通步暴露 $R$ 个边界、每 $P$ 步探测一次，边界开销从 $\mathcal O(B\,\operatorname{size}(h))$ 降到摊销的 $\mathcal O((R+B/P)\operatorname{size}(h))$。这是边界相关开销，训练仍保留完整时间计算图。 真实文本探针每隔 64 token 观测一次信用。为粗略修正“越早的边界接收越多后续损失”，诊断把范数除以剩余目标数的平方根：最后五次快照中，最早／最晚归一化范数比的中位数为 0.23；最终快照中 83.6% 的样本—层—头轨迹在最早处较弱。与此同时，相邻边界绝对 $\log_2$ 范数变化的中位数为 0.580，即约 1.50 倍；90 分位数为 3.164，即约 8.96 倍。局部变化双向且不同头差异明显。这个归一化只是诊断启发式，控制器使用原始、未归一化的信用。〔Sec. 6.1，PDF pp. 11–12〕 每层每头定义 省略层与头下标后，控制器是 参考 $m$ 在最晚有效边界初始化为 $z_{K-1}$；向更早处扫描时更新。这里的 EMA 沿一次 backward 的边界序列更新，与 EMA replay 跨训练探针平滑边界计划不同。参考使用当前干预前的 $z_k$，但该信号已可能包含更晚边界的修正，因此存在间接反馈。〔式 (16)–(17)，PDF p. 12〕 未触及 cap 时， 即将当前对数范数偏差收缩一定比例。本文设置为 $H=64,\alpha=0.10,\beta=0.90,c=1.10,\epsilon=10^{-12}$：每次修正消除 10% 的对数偏差，增益限定在约 $[0.9091,1.10]$。过小则放大、过大则衰减；这与只处理明显收缩的 Event-CST 是不同实例化。 主模型为三层 Gated DeltaNet，隐藏宽度 512、16 个头。Meta-FSA 使用 32 个任务状态、4 个动作，训练物理长度 1024，段内深度 $D=4$；全序列 BPTT、无长度课程，500 步 warmup 后固定学习率 $3\times10^{-4}$，全局 batch 512，共 100K 更新。报告种子 42、43、44 的均值与样本标准差。〔Sec. 5.2，PDF p. 8〕 评测长度为 $\{1,2,4,8,16,32,64,128\}$K，深度为 $\{4,8,16,32\}$，每个单元 1024 条样本。核心指标是受监督任务位置的准确率，越高越好；“长期平均”特指四种深度与 16K–128K 的 16 个单元平均。 跨任务实验保持三层模型与 1K 训练，但 Fixed-FSA 使用 32 状态／8 动作，MQAR 固定 128 个绑定。它们分别在报告的外推网格上选取控制器：Fixed-FSA 的 $(\rho,\gamma_{\max})=(1.2,1.25)$，MQAR 为 $(1.35,2.25)$。因此跨任务结果应理解为经调参的迁移证据，评测网格并未独立于选择过程。〔Sec. 5.3，PDF p. 10〕 语言模型共 123.30M 参数，宽度 768，由一个 32-token 滑窗注意力块和 12 个 Gated DeltaNet 块组成；循环块各有 16 个 48 维头，SwiGLU 中间宽度 1792。GPT-2 输入嵌入与输出权重共享，补齐词表为 50,304。〔Sec. 6.2、App. B.1，PDF pp. 12、19〕 LongData 共 474 个 Arrow shard，留出整整 16 个用于验证，其余 458 个训练；文档以 EOT 分隔并打包为 4096-token 序列。BPTT 与 CST 使用相同初始化和数据种子，在 8 张 H100 上训练 20K 更新，global batch 96，约 7.86B token。优化器为 AdamW，学习率峰值 $6\times10^{-4}$、67 步 warmup、余弦衰减到 $6\times10^{-5}$，betas $(0.9,0.95)$、weight decay 0.1，参数梯度范数裁剪阈值 1.0。CST 与常规参数梯度裁剪可同时使用，因为干预位置不同。 推理直接运行模型的循环形式，不做位置重缩放。全 token 与关键 token 的负对数似然（NLL）均按目标 token 数加权，越小越好；后续统一用 表示收益，正值有利于 CST。 语言控制器共搜索 $3\times2\times3=18$ 组配置：$\alpha\in\{0.03,0.10,0.30\}$、$\beta\in\{0.90,0.97\}$、$c\in\{1.10,1.25,1.50\}$，每组均训练 20K 步；最后按 LongData-32K 与 Books3-128K NLL 选择。主结果比较的是最终选中的一次 CST 训练与一次 BPTT 训练，评测端点同时参与选择。〔App. B.1，PDF pp. 19–20〕 这些 token 不是按 CST 的收益挑选。LongData 与 Books3 使用固定的 Qwen2-72B-Instruct 标注器，比较同一 token 在完整上下文和 4K 上下文中的 NLL。位置超过 4K，并且同时满足 才被选择：完整上下文下应较易预测，而移除远处信息后明显变难。标注器使用固定 checkpoint，长前缀采用其 131,072-token YaRN 配置；逐块评分的目标块长为 1024。GovReport 使用 LongPPL 发布的标签。〔App. B.2，PDF p. 20〕 跨 tokenizer 对齐采用 UTF-8 字节区间；只有被评模型目标 token 的整个字节区间包含于选定区间，才标为 key token，部分重叠不计。所有 mask 在 BPTT/CST 比较前固定。4K 时没有符合这一定义的远程关键目标，所以 key-token NLL 未定义，而不是数值为零。 原文图 1，PDF p. 8。横轴是物理长度及相对 1K 训练的倍率，纵轴是准确率；四个面板依次为 $D=4,8,16,32$，蓝色 BPTT、红色 Event-CST，误差条是三个训练种子的样本标准差。各面板纵轴范围不同，应在同一深度内比较两条曲线。 在训练设置 1K、$D=4$ 上，Event-CST 比 BPTT 低 3.55 个百分点；在 16K–128K 的 16 个单元中，三种子平均结果全部更高，平均提高 6.58 个百分点。128K 时： 来源：Sec. 5.2.1，PDF p. 9。16 个聚合单元均改善，并不意味着每次训练都改善：48 个配对的“种子×单元”比较只有 29 个为正；$D=4$、128K 这个点则三个种子都改善。它显示的是平均外推行为改善，同时保留明显的训练随机性。 原文图 2，PDF p. 9。左侧长期分数是四个深度、16K–128K 的平均准确率；右侧吞吐以 BPTT 为 1。EMA replay 的吞吐标记是等价稀疏 CUDA Graph 基准推算值。 吞吐设置是一张 A100 80 GB、batch 64，衡量各实现记录的完整训练步。因此比较包含实现路径差异。CUDA Graph 使密集 Event-CST 达到 BPTT 的 55.1%，相对其 eager 实现加速约 4.414×；峰值显存从 10,875 MiB 升到 11,363 MiB，增加 488 MiB。 Event-CST 相比 Adjacent-CST 多约 3.0 个百分点，支持等待累计收缩再处理的设计。EMA replay 每步平均边界数从 31 降至 6.91，减少 77.7%；准确率比 Event-CST 低约 1.91 个百分点，推算吞吐约为 BPTT 的 84.6%。不能把这一估计表述为已经测得的完整训练加速。〔Sec. 5.2.2、App. C.3/C.5，PDF pp. 9、22–23〕 控制器并非到处强行放大：平均仅 5.8% 的“边界×状态分量”决策触发，每条状态分量轨迹约 1.79 次修正，所有候选的平均增益为 1.053。图 6 中约 3.7× 的累计量是多个控制系数的乘积，不是最终 CST/BPTT 梯度范数比；传播过程中还有 Jacobian 与局部损失加入。〔App. C.4，PDF pp. 22–23〕 原文图 3，PDF p. 10。左侧 Fixed-FSA 曲线几乎水平；右侧 MQAR 随长度增加明显下降，而 Event-CST 延缓下降。误差条仍为三种子样本标准差。 Fixed-FSA 的长度曲线平坦，只能说明延长序列未引入明显额外衰退，约 42% 的准确率表明固定转移规则本身仍未充分学会。MQAR 始终保存 128 个绑定，延长的是后续查询时间，因此 128K 的提升对应保留与重复使用的改善。上述两任务各自的控制器在同一报告网格上调过参。〔Sec. 5.3，PDF p. 10〕 原文图 4，PDF p. 11。模型为 8 层、宽度 1024、32 头；每格为相对原 BPTT 基线的准确率百分点变化，蓝色有利于 BPTT，红色有利于 Event-CST。两面板的绝对训练长度不同，应按括号里的外推倍率比较。 表中均为训练长度 16–64× 范围的平均准确率增益，单位为百分点。第一行只对训练深度 $D=4$ 有小幅收益，所有未见深度都下降；第二行四种深度均改善，平均增加 7.14 个百分点。第二种任务在完整评测网格上的准确率是 32.03% 对 21.84%，这个平均口径与上表不同。〔Sec. 5.4，PDF p. 11〕 作者认为较大模型在更难设置仍可受益。本文分析更强调实验能直接说明的部分：状态数、动作数、训练长度与控制器同时变化，不能仅凭两面板差异确定“难度提高”或“过拟合消失”就是原因。 最长评测长度的全 token 结果： 同一长度的关键 token 结果： 来源：表 3，PDF p. 13。原表增益由未舍入的损失计算后独立舍入，因此与展示损失直接相减可能相差 $10^{-6}$；这里保留原表数值。3.50× 等比值比较的是两种 token 集合的NLL 绝对降幅，不是准确率倍数或困惑度下降百分比。 所有 14 个数据集—长度设置的全 token NLL 都改善，平均收益约 0.00724；但关键 token 并非处处改善： 来源：表 4，PDF p. 13。短长度关键目标少，估计的不确定性较大；Books3-16K 和 GovReport-8K 的负收益仍需如实保留。Books3 未计算配对文档置信区间。 真实语言控制器在 2021 个训练记录点上，37.89% 的增益用于放大，60.52% 用于衰减，达到上、下 cap 的比例分别为 2.90%、3.24%。18 组配置仅 5 组同时改善两个选择端点，$\alpha=0.30$ 的强干预平均更差。这支持采用温和设置，但论文没有单侧控制器的语言消融来单独证明“衰减不可缺少”。〔Sec. 6.3，PDF pp. 12–13〕 关键 token 上表现更好，也可能只是模型更善于利用局部线索。作者因此在完全相同的目标位置重新评分：完整前缀条件与只保留最近 4K 的条件比较。短上下文条件从干净的循环状态重新计算，绝不复用被删除前缀形成的隐藏状态。〔Sec. 6.4，PDF p. 14〕 定义上下文使用收益 它也等于完整上下文中的模型间增益减去短上下文中的模型间增益，即 $\Delta_{\rm full}-\Delta_{\rm short}$。正值表示 CST 从 4K 以前的信息获得了更大帮助。 LongData-32K 上，完整上下文的关键 token 收益约 0.02393，短上下文约 0.00923，两者之差约 0.01470；16K 与 32K 的区间均排除零。GovReport-32K 的关键 token 本身有收益，但上下文使用增益区间跨零，尚不足以确认其远程信息利用也有改善。〔表 5–6及 App. B.4，PDF p. 21〕 置信区间的单位是文档，进行 20,000 次配对重采样；同文档多个窗口整体进入同一次采样，每次按总损失／合格目标总数重算 NLL。它衡量固定训练结果在文档抽样上的变化，没有覆盖独立训练种子的波动，也未修正 18 组配置选择造成的偏差。LongData-32K 的 key NLL 收益区间为 [0.011511, 0.037099]，GovReport-32K 为 [0.004626, 0.082771]；LongData-16K 的 key NLL 区间跨零，而其上下文使用增益区间不跨零，两者衡量的量不同。 位置分桶结果也支持 LongData 的结论：仅考察 16K–32K 区间，关键 token 增益为 0.023537，区间 [0.011159, 0.037012]；上下文使用增益为 0.013666，区间 [0.008616, 0.020309]。改善不只是累计前缀里较早位置的贡献。 原文图 5，PDF p. 20。两模型约 123M 参数，都在 LongData 的 4K 序列上训练 7.86B token。Transformer 在训练范围外使用 dynamic YaRN，循环 CST 使用原生循环推理；横轴为评测长度，纵轴为全 token NLL，越低越好。128K 时前者为 4.415，后者为 3.518。 这张图说明在所给 Transformer 配置下，位置扩展后仍会出现严重长度退化。但它同时更换了架构和训练规则，CST 自身的净贡献应以同架构 BPTT 对照为准：Books3-128K 是 3.524265→3.518316。不能把 4.415→3.518 的全部差距归给 CST。〔App. B.3，PDF p. 20〕 任务需要决定信用需求。 固定规则可以从局部标签学习；实例特定记忆则要靠后来的使用结果评价早先写入。只看时间 Jacobian 的范数衰减，无法判断某项任务是否真正被远程信用限制。 状态信用提供了一个直接的训练干预点。 CST 在信用映射为参数梯度之前控制其局部尺度，能保留前向架构与部署方式。这使它在概念上不同于增加记忆容量、修改位置编码或在最终参数梯度上裁剪。 有用控制器依赖实际信用动力学。 合成任务的 Event-CST 与自然文本的双向逐头 CST 共享同一反向干预原则，但参考量、分量粒度、触发方式都不同。EMA replay 又解决了另一问题：如何减少测量这些边界的成本。 第一，尺度修复无法创造丢失的方向，也无法消除不同时间贡献间的干扰；被修正分量局部方向保持，不代表全局更新方向保持。CST 采用的是有意修改过的学习信号，其作用由实验支持，而非原目标精确梯度或普遍稳定性证明。 第二，收益与代价需要一起看。主 Meta-FSA 长期准确率改善，但训练设置准确率下降；密集 CUDA Graph Event-CST 的训练吞吐只有 BPTT 的 55.1%。较大模型在 S32/A4 的未见深度上出现明确负收益，说明控制器不能无条件照搬。 第三，真实语言证据集中于一个 123M 架构和每个最终方法一次训练；配置在报告端点上选择。LongData 的上下文移除结果较强，GovReport 对同一机制的证据尚未明确。进一步判断可迁移性，应优先采用独立控制器选择集、多种子训练，并在同架构条件下比较 Event-CST、双向 CST 和 BPTT。 作者报告长度课程、状态自蒸馏、量化状态以及完全自适应的信用控制均未得到稳定收益。状态自蒸馏缺少合适的目标状态；量化方案需同时学习码本与转移；去掉固定触发或 gain cap 后，控制器更容易受到嘈杂边界统计影响。它们说明该研究过程中的具体实现未奏效，不足以判定这些方向本身无效。〔App. D，PDF pp. 23–24〕 本次分析认为，下一步最有辨别力的实验是：保持模型、数据、训练长度和选择预算一致，单独改变控制器的“只放大／双向”“整体状态／逐头”“密集／稀疏”三个设计，结合上下文移除检验与直接实测吞吐，确定性能改善究竟来自哪里。这样才能将当前有希望的反向信号控制方法，推进为可复用的训练方案。2.4 合成任务：Adjacent-CST 与 Event-CST
2.5 EMA replay：复用边界位置，减少边界测量
2.6 真实语言：对数范数的双向、逐头稳定化
三：实验——比较对象与统计口径
3.1 合成任务主实验
对照 目的 主配置 BPTT 原始精确反传基线 完整时间图 Adjacent-CST 检验逐边界补偿收缩的收益 参考下一更晚边界的修正范数 Event-CST 检验等待明显累计收缩再介入 $H=32,\rho=1.5,\gamma_{\max}=2$ EMA replay 减少边界暴露成本 同上控制器，$P=100,\beta=0.9$ 3.2 语言模型实验
评测集 相对训练分布 固定评测样本 最大长度与倍率 LongData 域内，来自留出的 shard 128 个固定窗口 32K，8× Books3 域外 128 个固定图书窗口 128K，32× GovReport 域外 LongPPL 的 50 文档集合 32K，8× 3.3 “关键 token”如何定义？
四：结果——哪些收益成立，代价在哪里？
4.1 Meta-FSA：长期准确率改善，但训练长度存在取舍
转移深度 128K 时的准确率增益 $D=4$，训练见过的深度 +6.98 个百分点，21.16%→28.14% $D=8$ +4.77 个百分点 $D=16$ +4.09 个百分点 $D=32$ +3.87 个百分点 4.2 稳定化有益，训练吞吐损失也明显
方法／实现 长期平均准确率 吞吐（百万 token/s） 证据性质 BPTT，直接实现 18.5% 0.955 实测 Adjacent-CST，CUDA Graph 22.1% 图示为 BPTT 的 55.1% 实测图中相对值 Event-CST，eager 25.1% 0.119 实测 Event-CST，CUDA Graph 25.1% 0.526 实测 EMA replay，稀疏 CUDA Graph 23.2% 中心估计 0.808，范围 0.75–0.82 根据等价稀疏图负载估计 4.3 跨任务：需要保留实例上下文时，收益更随长度增长
任务与统计区间 BPTT Event-CST 准确率增益 Fixed-FSA，16K–128K 平均 41.58% 43.76% +2.18 个百分点 MQAR，2K–128K 平均 74.95% 80.61% +5.66 个百分点 MQAR，128K 25.56% 41.66% +16.10 个百分点 4.4 放大模型后，收益可能反向
任务／训练配置 $D=4$ $D=8$ $D=16$ $D=32$ 32 状态／4 动作／1K，$(\rho,\gamma_{\max})=(1.5,2)$ +1.85 −9.30 −6.39 −4.06 64 状态／8 动作／2K，$(1.25,1.5)$ +15.69 +6.79 +4.03 +2.06 4.5 语言模型：全 token 稳定小幅改善，关键 token 的改善更大
数据集／长度 BPTT NLL CST NLL $\Delta$NLL LongData／32K 1.523420 1.516576 +0.006843 Books3／128K 3.524265 3.518316 +0.005949 GovReport／32K 3.108765 3.099039 +0.009726 数据集／长度 BPTT key NLL CST key NLL $\Delta$key NLL 相对全 token 增益 LongData／32K 4.308315 4.284383 +0.023932 3.50× Books3／128K 6.458054 6.443285 +0.014770 2.48× GovReport／32K 5.913384 5.869202 +0.044182 4.54× 数据集 长度 关键目标数 $\Delta$key NLL LongData 8K 764 +0.024494 LongData 16K 7,130 +0.025832 LongData 32K 39,054 +0.023932 Books3 8K 317 +0.058811 Books3 16K 2,836 −0.019084 Books3 32K 11,074 +0.007481 Books3 64K 34,101 +0.010558 Books3 128K 95,993 +0.014770 GovReport 8K 277 −0.049017 GovReport 16K 2,127 +0.041046 GovReport 32K 3,147 +0.044182 4.6 上下文移除：能否把收益归因于更好的远程信息利用？
数据集／长度 $\Delta_{\rm context}$ 95% 配对文档 bootstrap 区间 LongData／8K −0.000107 [−0.041152, 0.041824] LongData／16K +0.019479 [0.006917, 0.032245] LongData／32K +0.014703 [0.009604, 0.020999] GovReport／32K +0.002684 [−0.002305, 0.007471] 4.7 附录中的 Transformer 对照应如何读？
五：结论——贡献在于干预位置与诊断分解
5.1 最值得带走的理解
5.2 会改变实践判断的限制
5.3 附录的失败探索带来的启发