# Learning to Compute Is Not Learning to Retain or Reuse in Looped Transformers：中文研读笔记

**中文题意：循环 Transformer 学会计算，并不意味着学会保留答案或复用状态。**

作者：Peilong Zhou、Hongtao Zhang、Yulong Huang、Cangyuan Li、Mingyu Chen、Ying Wang。前两位作者共同第一作者。

论文：[arXiv:2610.19768v1](https://arxiv.org/abs/2610.19768v1)，2026-10-14 提交；获取与研读日期：2026-10-15。[本地原文 PDF](../source/paper.pdf) · [英文汇报 PDF](slides.en.pdf) · [可编辑 TeX](slides.en.tex)。下文页码均为 PDF 页码，与本版印刷页码一致。

## 论文总览

循环 Transformer 将同一个网络块反复应用于隐藏状态，因而可以在推理时增加循环次数。但额外计算有时会把已经正确的答案变错，即过度思考（overthinking）。只看最终准确率，无法知道模型究竟没有完成计算、没有保存算出的答案，还是虽然输出正确，其内部状态却不能被后续计算直接复用。

本文用上下文内 Mealy 状态机执行任务，把这三件事分别测量：模拟器提供每一步的精确答案；跨输入替换一个隐藏向量，检验其能否驱动正确的反事实后续执行；在答案出现时冻结该位置的隐藏向量，检验它是否已经可以停止更新。论文的主要贡献是一套区分能力的实验，而非新的通用循环架构。

三个结果构成论证主线：

- **计算正确不保证答案保持。** 只监督最后位置的模型，在长度 32、循环 32 时终点准确率为 100%，多跑到循环 64 后只有 22.33%。每个样本仍只监督一个位置、但将位置随机化，可把循环 64 的终点准确率提高到 99.80%。
- **早期状态确实参与了计算。** 在位置 8、循环 8 替换一个 128 维隐藏向量，10 个模型各自在全部 237 个有效样本对上，按各位置自己的计算时刻，精确执行源输入的后续 24 步。
- **答案保持不保证状态可以立即冻结。** 上述 sampled-prefix 模型在答案首次出现时冻结各位置，终点准确率跌到 4.10%；延后两轮冻结恢复到 99.80%。隐藏状态在输出已经正确后，仍可能有后续计算需要的工作。

这里最值得保留的判断是：**输出正确、输出稳定，与隐藏状态对下游是否仍然合用，需要不同的测试。**［Sec. 3–5，PDF pp. 4–8；Fig. 2–4］

## 结构地图

| 原文章节 | 在论证中的作用 | PDF 页码与关键证据 |
| --- | --- | --- |
| 1 Introduction | 提出计算、保持、复用的区分 | pp. 1–2 |
| 2 A controlled setting for computation and retention | 状态机、循环架构、监督目标和指标 | pp. 2–4；Fig. 1；Eq. (1)–(4) |
| 3 Training to retain changes inference-budget robustness | 监督位置、退出深度、梯度路径的对照 | pp. 4–6；Fig. 2 |
| 4 Computation is exact, but its answers are transient | 单向量替换与精确反事实执行 | pp. 6–7；Fig. 3；Eq. (5) |
| 5 Answers become readable before their states become reusable | 缓存答案、冻结状态、延迟冻结及迷宫检验 | pp. 6–8；Fig. 4 |
| 6 Related work | 说明与过度思考、停止策略、因果干预工作的关系 | p. 9 |
| 7 Discussion and limitations | 贡献与可解释范围 | pp. 9–10 |
| A Experimental methods and scoring | 数据生成、模型、课程与严格评分定义 | pp. 12–15；Fig. A1；Table A1 |
| B Additional results and their scope | 训练细项、长度泛化、延迟替换及时间交叉 | pp. 15–22；Tables A2–A14；Figs. A2–A3 |
| C Local downstream recovery and source-phase controls | 用局部下游重置检验状态的时间兼容性 | pp. 22–25；Fig. A4；Tables A15–A17 |
| D Frontier freezing | 冻结协议、逐种子结果、外部迷宫模型 | pp. 25–30；Fig. A5；Tables A18–A26 |
| E Local recovery of the first natural failure | 定位从循环 32 到 33 的首次自然错误 | p. 31；Table A27 |

## 一：动机——“多算以后出错”包含不同问题

设一个位置的答案在第 $k$ 轮已经正确。之后可能发生三件不同的事：一是继续更新使其输出变错；二是输出一直正确，但同一隐藏状态在不同计算阶段不能互换；三是把该隐藏状态固定下来后，其他位置无法继续正确计算。前者是答案保持问题，后两者涉及状态与下游计算之间的兼容性。

这也说明，只训练在某个退出深度答对，不一定会形成稳定的解状态。作者将能力分解为：

| 性质 | 本文怎样判断 | 仅凭什么还不够 |
| --- | --- | --- |
| 计算（computation） | 中间答案按时出现，且替换中间状态能驱动精确反事实执行 | 最终答案正确，或探针能读出中间标签 |
| 保持（retention） | 同一输入和参数下，继续循环仍能读出正确答案 | 某一个退出点准确率高 |
| 复用（reuse） | 位置状态被保持不变后，下游仍正确；补充实验检验跨运行、跨阶段替换 | 当前输出正确，甚至后续输出一直正确 |

正文对“可复用”的操作性定义主要是**冻结后仍可供下游使用**。附录的跨运行替换是另一种依赖时间和上下文的复用要求；延迟冻结成功，并不推出可以任意交换隐藏向量。

作者承认，过度思考、随机退出、计算前沿、隐藏状态替换都已有先例。本文的新意在于：让每个位置、每个读取时刻以及每个反事实执行都有明确目标，从而能在“答案刚出现”的时刻干预状态。［Sec. 1、6，PDF pp. 1–2、9］

## 二：方法——用可精确模拟的任务拆开三种能力

### 2.1 Mealy 机为什么适合做这个实验

Mealy 机有状态集合 $Q$、输入字母表 $\Sigma$、输出字母表 $\Gamma$、初态 $q_0$、转移函数 $\delta$ 与输出函数 $\lambda$。给定长度为 $H$ 的动作序列 $a_1,\ldots,a_H$：

$$
q_k=\delta(q_{k-1},a_k),\qquad
y_k=\lambda(q_{k-1},a_k),\qquad k=1,\ldots,H.
$$

$q_k$ 是第 $k$ 个动作执行后的状态；$y_k$ 是这次转移发出的输出，依赖转移前状态与当前动作。模型输入包括初态、整个转移表和动作序列，中间的 $q_k,y_k$ 只作为标签，不输入模型。［Eq. (1)，PDF p. 2］

每台机器使用 4、6 或 8 个状态，2 或 4 个输入符号，以及 2 个输出符号。生成器保证所有状态可达，并筛选行为上最小的机器；随机重命名符号、打乱表行，降低固定命名捷径的作用。每个转移表项以包含“源状态、输入、目标状态、输出”的一个因子化 token 编码。全局分类命名空间为 16 个状态 ID 和 4 个输出 ID，因此输出头维度与单台机器实际使用的类别数不同。

它的关键优势是可以产生**唯一确定的反事实目标**：如果将位置 $c$ 后的状态改成另一条轨迹的 $q_c^S$，再执行原来的后缀动作，模拟器能精确给出后面每一步应该是什么。于是“模型输出发生变化”与“模型执行了正确的替代计算”可以严格区分。［Sec. 2，Appendix A.1，PDF pp. 2–4、12］

![原图 1：状态机、共享循环块与退出点监督](figures/fig_setting.png)

原图 1，PDF p. 3。左侧从状态机与动作得到逐位置目标；中间展示一个包含两层 Transformer 的共享块；右侧横轴是动作位置 $k$，纵轴是循环 $r$，有颜色的格子是**最终退出轮**接受监督的位置。all-prefix 的监督遍及位置，但没有遍及每一轮循环。

### 2.2 循环模型的状态与数据流

模型以零隐藏状态开始，每轮重新加入相同的输入嵌入：

$$
X^0=0,\qquad X^r=B_\theta\bigl(X^{r-1}+E(x)\bigr).
$$

其中 $X^r,E(x)\in\mathbb R^{T\times128}$，$T$ 为初态、表项与动作 token 的总数。$B_\theta$ 包含两个参数各自不同的 pre-LN Transformer 层，**整个两层块跨循环共享权重**。主模型宽度 128、4 个注意力头、MLP 宽度 512，无 dropout、位置嵌入或循环深度嵌入。［Eq. (2)，PDF p. 3；Appendix A.2，pp. 12–13］

初态和转移表构成输入前缀，前缀 token 之间可以互相注意；动作位置 $k$ 只能访问前缀以及动作 $1{:}k$。因此相同呈现方式下，长度 $k$ 的输入与它在长序列中的前 $k$ 个位置，具有相同的未干预计算。

$h_k^r\in\mathbb R^{128}$ 表示第 $r$ 轮后动作位置 $k$ 的隐藏向量。模型对 $\operatorname{LN}(h_k^r)$ 应用共享的状态头与输出头。所有隐藏状态干预都发生在**整个块结束后、最终读出归一化之前**。这定位了本文究竟在替换什么，也限制了结果不能直接等同于某一层或某个 KV 缓存的冻结。

### 2.3 三种监督目标：改变的是位置覆盖

主比较固定训练退出轮 $R=H$。令 $\ell_{i,k}^{R}$ 为样本 $i$ 在位置 $k$、退出轮 $R$ 的状态交叉熵与输出交叉熵之和：

$$
\mathcal L_S=
\frac{1}{\sum_i|S_i|}\sum_i\sum_{k\in S_i}\ell_{i,k}^{R},
\qquad
S_i=
\begin{cases}
\{H\}, & \text{final-only},\\
\{1,\ldots,H\}, & \text{all-prefix},\\
\{K_i\},\ K_i\sim U\{1,\ldots,H\}, & \text{sampled-prefix}.
\end{cases}
$$

三个目标都只在退出轮施加损失，并按被监督的位置数取平均。final-only 与 sampled-prefix 每个样本都只监督一个状态—输出对；all-prefix 每个样本监督 $H$ 对。［Eq. (3)，PDF p. 3］

在参数、批次与 $H$ 固定时，sampled-prefix 满足：

$$
\mathbb E\left[\frac1B\sum_{i=1}^{B}\ell_{i,K_i}^{H}\right]
=\frac1{BH}\sum_{i=1}^{B}\sum_{k=1}^{H}\ell_{i,k}^{H}.
$$

因此它是 all-prefix 平均损失的无偏估计，用来检验收益是否需要每个样本同时提供很多监督位置。它仍然需要中间轨迹标签，也不能由损失期望相同推断两个随机优化过程完全相同。［Appendix B.1，PDF p. 15］

训练课程包含长度 $1$ 到 $32$。由于动作注意力是因果的，在短序列上监督终点 $k$、退出轮 $k$，也会约束长序列中相同前缀的 $h_k^k$。final-only 因此主要要求沿对角线“及时算出”；all-prefix 与 sampled-prefix 还会在较长输入的退出轮 $H>k$ 要求位置 $k$ 保持正确。这解释了监督位置为什么可能改变保持能力。［Sec. 2，PDF p. 4］

### 2.4 指标：读哪里、什么时候读、要求多少位置正确

| 记号或指标 | 定义与口径 | 用途 |
| --- | --- | --- |
| $A(H,r)$，终点联合准确率 | 在循环 $r$，最后位置 $H$ 的状态和输出同时正确的样本比例 | 终点能力及继续循环后的保持 |
| $T(H,r)$，整轨迹精确率 | 在**同一循环** $r$，全部 $H$ 个位置的状态和输出都正确的样本比例 | 所有答案能否同时保留 |
| $\tau(k)$，首次正确前沿 | 状态准确率、输出准确率这两个边际比例都首次达到 99% 的循环 | 确定群体层面答案何时出现 |
| $s(k)$，指定读取时刻 | 实验预设；例如 $s(k)=k$，或所有位置都在 $r$ 读 | 区分按计算进度读与统一退出读 |
| 后缀精确率 | 有效样本对中，所有 $k>c$ 在指定时刻都与反事实状态、输出一致的比例 | 检验完整的替代执行 |

终点指标为：

$$
A(H,r)=\frac1N\sum_{i=1}^{N}
\mathbf1\!\left[\hat q_{i,H}^{r}=q_{i,H}\ \land\ \hat y_{i,H}^{r}=y_{i,H}\right].
$$

首次正确前沿使用两个边际准确率，并非逐样本的联合保证；整轨迹精确率又比每个位置的平均正确率严格。所有表中准确率越高越好。［Eq. (4)，PDF p. 4；Appendix A.3，pp. 13–14］

### 2.5 三种干预分别回答什么

**跨输入替换（swap）。** source 与 base 使用相同机器、符号命名、表行顺序和后缀动作，只在位置 $c$ 及之前的动作不同，并要求 $q_c^S\ne q_c^B$。将 source 的完整向量复制到 base：

$$
h_c^r\leftarrow h_{c,S}^r.
$$

随后继续运行模型，而不输入任何符号答案。有效样本对要求事实与反事实后缀至少有一处不同；完全忽略干预的模型因而不能得到满分。后缀评分将每个位置的状态与输出都做联合判定。［Eq. (5)，PDF p. 6；Eq. (6)，p. 14］

**答案缓存（readout cache）。** 在未干预运行中，于 $s(k)$ 将预测保存到模型外部，内部状态照常更新。它检测答案是否曾经被算出。

**状态冻结（freeze）。** 在受干预轨迹自身运行到 $s_d(k)=k+d$ 时，捕获位置 $k$ 的向量；之后每轮块计算完毕，再写回该捕获值。其他位置正常更新，冻结位置仍可被注意力读取，输入前缀不冻结。下面是对协议的教学性写法：

$$
v_k\gets h_{k,\mathrm{arm}}^{k+d},\qquad
h_{k,\mathrm{arm}}^r\gets v_k\quad(r>k+d).
$$

这里的 $v_k$ 来自该干预分支本身；它并非从事先保存的干净轨迹逐位置拷贝。因此较晚捕获的位置，可能已经受到较早冻结引起的错误影响。实际实验仍计算全部块，再执行写回，没有直接节省 FLOPs。［Sec. 5；Appendix D.1、D.3，PDF pp. 8、25–28］

## 三：实验——训练对照与样本口径

### 3.1 共同训练配置

主要训练使用 132,000 步 AdamW、批大小 256，初始学习率 $3\times10^{-4}$ 并余弦衰减到零，权重衰减 0.01，梯度范数裁剪到 1。35 阶段课程逐步增加最大长度至 32。除初始阶段外，每个批次以 0.5 概率选择当前最大长度，否则均匀选择一个较短长度。所有主要比较使用固定的最后一步检查点，未按评测表现挑选种子。［Appendix A.2，PDF pp. 12–13；Table A1］

行为评测一般每个模型每种长度用 512 条轨迹，来自 **16 台机器、每台 32 条轨迹**。先在模型内部计算比例，再对模型种子等权平均。512 条轨迹并不代表 512 台相互独立的状态机。

### 3.2 哪些结果属于同一组比较

| 实验 | 模型与样本 | 需要保持的区分 |
| --- | --- | --- |
| 主训练比较 | 5 条件 × 3 种子；共同流 20260923 | 原 final-only/all-prefix 检查点重新评测，不是新增独立训练 |
| 历史预算比较 | 6 配对种子；流 20260909 | Slack-4/Jitter-8 与历史 baseline 数值单列 |
| 位置 8 的替换 | 10 个 final-only 模型；共享 256 对，237 对有效 | 每个模型各自 237/237，不将复用样本对当新任务样本 |
| 位置 16 的延迟替换与重置 | 每条件 6 模型；256 对，主要切片 242 对有效 | 完整后缀、一步目标和不同替换范围用不同评分切片 |
| 新训练条件的冻结 | sampled-prefix 与 matched random exit，各 3 模型；流 20260924 | 与主保持实验使用不同评测流 |
| 外部迷宫 | 1 个发布检查点；每种尺寸 32 个迷宫 | 有任务和架构变化，没有训练种子重复 |

这一划分很关键：正文的 final-only 循环 64 准确率为 **22.33%**，历史六种子版本为 **30.50%**；它们对应不同样本流和种子集合，不能交叉拼成一张配对结果表。［Sec. 2，Appendix A.1、B.1–B.2，PDF pp. 4、12、15–18］

### 3.3 两组额外训练对照

**退出轮是否变化。** 保留 final-only 监督，比较 Slack-4 的 $R=H+4$ 与 Jitter-8 的 $R=H+U\{0,\ldots,8\}$。二者条件期望都为 $H+4$，训练中累计批级块应用次数只差约 0.062%。这控制的是循环工作量；该计数没有按实际序列长度加权，不能称为测得的总训练 FLOPs 相等。［Appendix B.3，PDF pp. 18–19］

**随机退出还是截断梯度在起作用。** 设 $m=H+8$，采样 $n\sim U\{0,\ldots,m-1\}$，再采样 $k\mid n\sim U\{1,\ldots,m-n\}$，若 $n+k<H$ 则重采整个二元组。两个条件都优化：

$$
\tfrac12L_m+\tfrac12L_{n+k}.
$$

progressive 在随机分支的前 $n$ 轮不保留梯度图，仅反传后 $k$ 轮；matched random exit 在相同输入、相同退出轮和损失权重下完整反传。完整 $m$ 轮分支始终保留全梯度。接受后的退出分布不是均匀分布，也不是 Jitter-8。两条件前向工作匹配，反向工作不同；作者的矩阵乘法代理分别为 $5.919\times10^{16}$ 与 $7.438\times10^{16}$ MACs，未包含所有训练开销。［Appendix B.1，PDF pp. 15–16］

## 四：结果——逐步建立“计算、保持、复用”的分离

### 4.1 监督位置覆盖显著改变答案保持

共同流、长度 $H=32$、三个模型种子的均值如下。$A_r$ 是终点联合准确率，$T_r$ 是同轮整轨迹精确率，单位均为 %。［Table A2，PDF p. 16；Fig. 2，p. 5］

| 训练条件 | $A_{32}$ | $A_{64}$ | $A_{96}$ | $T_{32}$ | $T_{64}$ | $T_{96}$ |
| --- | ---: | ---: | ---: | ---: | ---: | ---: |
| final-only | 100.00 | 22.33 | 22.07 | 0.00 | 0.00 | 0.00 |
| all-prefix | 100.00 | 94.27 | 82.16 | 100.00 | 74.28 | 67.45 |
| sampled-prefix | 100.00 | 99.80 | 96.61 | 100.00 | 96.03 | 74.09 |
| matched random exit | 100.00 | 97.85 | 86.26 | 74.09 | 29.56 | 11.52 |
| progressive | 69.27 | 58.53 | 38.09 | 12.37 | 0.00 | 0.00 |

final-only 从循环 32 的 100% 到循环 33 已降为 60.81%。输入长度完全没有变化，因此这是已解决样本在继续计算后的失败。相比之下，sampled-prefix 在同样每样本一个监督位置的条件下保持了几乎全部终点答案。这支持**监督位置覆盖**的作用，无需将收益解释为每个样本同时接收更多标签。

终点与整轨迹也必须分开理解。matched random exit 在循环 64 有 97.85% 的终点准确率，整轨迹精确率却只有 29.56%；sampled-prefix 的两项分别为 99.80% 与 96.03%。只要求最后一个答案能够在不同退出轮正确，与要求各中间答案也保存下来，形成不同的轨迹。

这里的 99.80% 是有限评测窗口内的保持。循环 96 时 sampled-prefix 的整轨迹精确率已降到 74.09%，并没有得到无限循环下的稳定性结论。三种子点估计也不足以建立 sampled-prefix 普遍优于 all-prefix 的排序。

![原图 2：位置监督、退出分布及梯度路径](figures/fig_behavior.png)

原图 2，PDF p. 5。横轴为推理循环，纵轴为正确率；细线为单模型，粗线为均值。左上与右上分别展示终点和整轨迹，左下比较 Slack-4/Jitter-8，右下比较 progressive/matched random exit。阴影为训练退出轮支持范围。下方两组各自有不同的工作量匹配方式，不能把整张图理解为统一的等 FLOPs 排名。

### 4.2 随机退出有帮助，截断梯度在本配方中妨碍学习

历史六种子、长度 32 的等期望循环比较：

| 条件 | 循环 36 | 循环 48 | 循环 64 | 循环 96 |
| --- | ---: | ---: | ---: | ---: |
| Slack-4 | 93.98 | 38.15 | 30.01 | 26.79 |
| Jitter-8 | 87.27 | 87.17 | 85.55 | 79.79 |

单位为终点联合准确率 %；来源为 Table A8，PDF p. 19。Jitter-8 在循环 64 比 Slack-4 高 **55.54 个百分点**，六对种子均有优势，而且循环 64、96 已超出其长度 32 训练退出范围 32–40。代价是共同循环 36 的均值下降 6.71 个百分点，一些种子也没有完全掌握训练长度范围。

progressive 与 matched random exit 的比较进一步排除“随机深度与截断梯度混在一起”的解释。progressive 的种子 9、11 在整个扫描范围内最高终点准确率分别只有 59.38%、52.73%，属于学习不充分；种子 10 能在循环 40 和 48 达到 100%，但循环 96 降至 26.56%。matched random exit 的三个种子都在循环 32 达到 100%。因此本任务配方没有显示截断梯度的额外收益。这里测试的是原 progressive 思路在该 Transformer/状态机设置中的改编，不能将结果直接推广成对其原始卷积架构的否定。［Sec. 3，PDF pp. 5–6；Table A3，p. 16］

### 4.3 保持能力与长度外推的排序不同

将输入增至训练范围之外的 $H=64$，共同流结果如下：

| 条件 | $A(64,64)$ | $A(64,192)$ |
| --- | ---: | ---: |
| final-only | 97.79 | 17.12 |
| all-prefix | 76.69 | 72.72 |
| sampled-prefix | 85.87 | 60.61 |
| matched random exit | 86.07 | 53.71 |
| progressive | 33.92 | 17.19 |

单位为 %；来源为 Table A4，PDF p. 17。final-only 在自然对角线循环 64 上最好，但长期保持差；all-prefix 的初始外推均值更低，晚期保持更好。这说明“能把更长问题算对”和“算完以后不变错”是两条评测轴。

历史六种子的采样长度边界也呈混合变化：final-only 为 $[88,56,72,56,48,56]$，all-prefix 为 $[72,88,48,48,64,80]$，三升三降。边界定义为已评测长度中、按 $R=H$ 读出时终点联合准确率至少 99% 的最大长度，不保证所有中间长度均成功。［Table A11，PDF p. 20］

补充预算实验还显示，训练 $R=2H$ 的 Double 模型出现 $\tau(k)=2k-1$，在 $H=32,R=64$ 能达到 100%，强行在循环 32 读取只有 2.93%。计算前沿会随训练预算变化，不能把“每轮一步”视为该架构必然满足的定律；Double 的循环工作量也约为 Serial 的两倍。［Appendix B.3–B.4，PDF pp. 19–20］

### 4.4 单向量替换证明了精确的后续计算

位置 8 的实验在 $H=32$ 时，于循环 8 替换 $h_8^8$，然后按 $s(k)=k$ 读取位置 $9,\ldots,32$。256 个不同状态样本对中，237 对的事实与反事实后缀可区分；**10 个模型中的每一个，均为 237/237 后缀完全正确**。它不只改变紧邻的一个预测，而是产生长达 24 步的精确反事实执行。［Sec. 4，PDF p. 6；Appendix A.4，p. 14］

![原图 3：前沿单向量替换及后续执行](figures/fig_transport.png)

原图 3，PDF p. 7。中、右面板横轴为位置 $k$，纵轴为循环 $r$，颜色表示状态与输出联合匹配相应目标的比例。中间以 base 的正常轨迹为目标，右侧以 source 的反事实后续轨迹为目标。沿对角线的亮带表示答案在各自计算时刻正确；向上离开对角线后变淡，表示继续循环后读出退化。热图是 256 对、10 模型的平均，标出的 237/237 则是有效集合上的严格后缀指标。

若把所有位置都改为在循环 32 读取，7 个模型没有任何有效后缀完全正确，另外 3 个模型各只有 1 个。**按时算对整个过程，不等于在同一退出轮还能同时读出整个过程。** 这解释了 final-only 的整轨迹精确率接近零，仍可与精确的逐步计算共存。

定位扫描也支持前沿的因果作用：320/320 个循环—种子单元中，宽度一的替换造成的最大损伤在位置 $k=r$。但完整隐藏向量可能同时携带状态、历史、时序等内容；这个结果证明指定上下文中的充分性，没有提取出唯一的符号状态编码。后缀还可能在若干步后重新汇合，因此“全部后缀匹配”不要求源状态与原状态的区别一直维持到最后。［Appendix A.4，PDF p. 14］

### 4.5 冻结实验：输出已正确，状态仍需更新

最直接的比较是：在每个位置首次能正确读出时，保存它的**答案**，或保持它的**隐藏向量**。

原始冻结组包含 6 个 final-only、3 个 all-prefix 和 3 个较大 final-only 模型；较大模型宽度 512、每块四层，块参数量约为主模型的 32 倍。所有模型的答案缓存都保存了完全正确的 32 步轨迹；立即冻结隐藏向量后，整轨迹精确率却至多约 2%。错误并非小模型独有，也没有被 all-prefix 的保持训练消除。［Fig. 4b，PDF p. 7；Appendix D.1–D.2，pp. 25–26］

新冻结组进一步测试保持效果更强的训练条件。以下终点分数来自新流 20260924，每条件三种子、每模型 512 条长度 32 轨迹：

| 条件 | clean，$r=32$ | 答案缓存 | $d=0$ | $d=1$ | $d=2$ | $d=4$ |
| --- | ---: | ---: | ---: | ---: | ---: | ---: |
| sampled-prefix | 100.00 | 100.00 | 4.10 | 80.21 | 99.80 | 100.00 |
| matched random exit | 99.93 | 99.93 | 6.25 | 20.18 | 87.24 | 99.80 |

单位为 %；$d$ 表示在 $k+d$ 捕获位置 $k$。**延迟冻结列在终点实际捕获轮 $r=32+d$ 评分**，不是一律在循环 32 评分；这些分数在终点捕获后保持到循环 64。延迟列相应时刻的 clean 终点准确率全部为 100%。［Table A20，PDF p. 27；Tables A21–A24，pp. 29–30］

这个时间对齐不是细节：sampled-prefix 种子 10 在延后一轮的分支中，循环 32 时终点仍为 100%，实际到循环 33 捕获时却只有 82.81%。若只报循环 32，会把尚未发生的终点冻结误当作成功。

sampled-prefix 的延后两轮冻结，还达到 99.54% 的按各位置捕获时刻读取的整轨迹精确率；matched random exit 延后四轮达到 99.74%。不过后一组并非所有 clean 对角线读出都精确：种子 9 的最差位置联合准确率为 96.48%，缓存整轨迹精确率为 94.92%。因此 sampled-prefix 的三个完全正确 clean 轨迹，是“先算对、仍不能立即冻结”的更干净证据。［Appendix D.3，PDF pp. 27–28］

![原图 4：答案缓存、状态冻结与延迟](figures/fig_freeze.png)

原图 4，PDF p. 7。a 为冻结轨迹示意；b 比较全部 32 个位置是否同时正确；c 显示错误随位置推进；d 横轴为捕获延迟、纵轴为实际捕获时的终点准确率。b/c 使用原始模型组，d 使用新增的两组模型，指标和样本组不能混用。

**错误从哪里开始？** 立即冻结时位置 1、2 仍正确，位置 3 首先失败。运行循环 3 前，位置 1 缺失了“答案已正确之后的循环 2 更新”，而位置 2 的循环 2 向量仍与 clean 一致。这个缺失更新使 final-only 的位置 3 准确率降到约 68%，随后错误沿序列累积。只冻结前 8 个位置、让后面 24 个位置正常更新，仍会严重破坏终点；sampled-prefix 和 matched random exit 的终点均值分别只有 7.49%、7.42%。这把问题指向冻结状态作为下游输入的作用。［Sec. 5，PDF p. 8；Tables A18、A20、A25］

**怎样理解“还需要更新”？** 作者提出，模型没有位置和循环嵌入，隐藏状态可能还承担顺序或时间信息，供后续位置寻找前驱。冻结会同时固定这些信息。实验没有区分这是时序信息、表征格式还是其他内部机制；它直接显示的是，在本协议下当前正确的状态尚不能停止演化。

### 4.6 延迟替换与下游重置：复用取决于两端的计算阶段

位置 16 的实验补充了冻结以外的一条证据。all-prefix 在正常运行中一直保持正确，但将源向量的收集与插入都推迟 $a$ 轮，并按 $s(k)=k+a$ 读取后续位置时，反事实后缀精确率由 93.9% 降至 17.7%、10.2%、0%，分别对应 $a=0,1,2,4$；正常运行按相同读取时刻的事实后缀精确率始终是 100%。［Table A12、Fig. A3，PDF p. 21］

仅看这条下降曲线，仍混合了 source 状态变老与 base 整个运行进入晚期两个因素。时间交叉实验中，即使把原来循环 16 的新鲜源向量保留到循环 20 再插入，all-prefix 下一步反事实准确率仍为 0%；在循环 16 原位插入则为 94.63%。于是附录 C 固定其余网络处于循环 20，只改变两处：

$$
\text{源替换：}\quad h_{16}^{20}\leftarrow h_{16,S}^{16},
\qquad
\text{下游重置：}\quad h_{17}^{20}\leftarrow h_{17,B}^{16}.
$$

第二处来自 **base 自己的早期向量**，没有把 source 在位置 17 的答案塞入网络。两处同时干预后，再运行一轮，于循环 21 读取位置 17。［Eq. (7)，PDF p. 23］

| 对照或晚期干预 | final-only | all-prefix |
| --- | ---: | ---: |
| 早期插入新鲜源的参考值 | 100.00 | 94.63 |
| 不干预 | 16.67 | 0.00 |
| 仅插入新鲜源 | 26.72 | 0.00 |
| 仅重置下游 | 19.63 | 26.17 |
| 新鲜源 + 下游重置 | 100.00 | 94.56 |
| 老化源 + 下游重置 | 19.70 | 26.31 |

单位为一步反事实联合准确率 %，每条件六种子均值、242 个有效样本对；来源为 Table A15，PDF p. 24。all-prefix 不干预时的 **0% 是反事实匹配率**，其事实准确率为 100%；不能把此处的零解读成模型本身已经不会计算。

![原图 A4：同时恢复源与接收位置的时间条件](figures/fig_receiver.png)

原图 A4，PDF p. 23。左侧标记新鲜源与老化源的收集轮数、位置 17 的重置以及实际读出位置；右侧展示 all-prefix 六个种子的反事实匹配率，横轴为百分比。联合恢复几乎回到早期参考值，而老化源加重置只达到重置本身的水平。

all-prefix 的新鲜源和老化源，原输出头都能 100% 正确读出状态与输出，但它们不能在同一接收条件下互换。新鲜源与下游重置的配对交互量：

$$
I=A_{11}-A_{10}-A_{01}+A_{00}
$$

在 all-prefix 中为 $+68.39\pm10.54$ 个百分点；$\pm$ 为六个模型种子的样本标准差。老化源的对应交互仅为 $+0.14\pm0.34$ 个百分点。这支持局部下游状态与源状态共同决定接收效果。它只恢复了**一个位置、一次更新**，不能替换为“恢复整个后缀”的表述。［Eq. (8)，PDF p. 23；Appendix C.2–C.4，pp. 23–25］

同符号状态、不同历史的替换也会损伤预测，因此完整向量不是纯粹的符号状态按钮。只重置下游时，同状态对的 all-prefix 事实准确率从 100% 跌到 25.13%；重置是强干预，而不是通用纠错步骤。另一个替换范围对照在循环 20 读取位置 21 时，替换当前前沿位置 20 可达 100%/93.5%，只替换旧位置 16 则为 0%/0%。但两处到目标的距离不同，这个结果只能作为有效干预位置的参照，不能单独证明旧位置的信息已被擦除。［Tables A14、A17，PDF pp. 22、25］

### 4.7 外部迷宫模型也存在答案出现与状态可冻结的间隔

作者使用已发布的 `dt_net_recall_2d` 检查点：宽度 128，以 progressive loss 在 $9\times9$ 迷宫、30 次迭代条件下训练。它在所有 32 个测试迷宫上，从迭代 25 到 120 始终正确，因此没有观察到已解答案遗失。

迷宫没有与位置 $k$ 对应的统一前沿。作者将每个像素在完整 clean 轨迹中**最后一次预测变化**视为答案到达时刻，再于该时刻或延迟后冻结像素状态。这使用后续轨迹确定时刻，属于离线诊断，不能直接当作在线早停规则。

| 条件 | $9\times9$，迭代 120 | $33\times33$，迭代 120 |
| --- | ---: | ---: |
| 正常运行 | 32/32 | 19/32 |
| 仅缓存答案 | 32/32 | 19/32 |
| 到达时立即冻结 | 0/32 | 0/32 |
| 延后 1 轮 | 3/32 | 0/32 |
| 延后 2 轮 | 28/32 | 2/32 |
| 延后 4 轮 | 32/32 | 18/32 |
| 所有像素统一在迭代 30 冻结 | 32/32 | 0/32 |

来源为 Table A26，PDF p. 30；协议与局限见 Appendix D.4，pp. 28、30。小迷宫已经整体解出后统一冻结是安全的；更大迷宫仍在计算时统一冻结则失败。该模型的输出头使用 $3\times3$ 卷积，因此冻结某个像素状态不一定固定其输出：邻近状态仍会影响读出。这与 Transformer 的逐位置输出头不同，不能把两者逐像素指标完全等同。

### 4.8 自然错误的局部恢复：能定位，尚不能持续修复

附录 E 选出循环 32 终点正确、循环 33 错误的样本集合 $E$。在循环 32 结束后，将位置 31、32 分别或同时重置为其自身循环 31 的状态，再运行一轮。主模型六种子合计有 771 个这类失败样本：

| 重置位置 | 恢复的失败样本数 | 循环 33 所有样本准确率 |
| --- | ---: | ---: |
| 不重置 | 0/771 | 74.9% |
| 仅位置 31 | 585/771 | 89.5% |
| 仅位置 32 | 143/771 | 35.2% |
| 位置 31 与 32 | 771/771 | 100.0% |

恢复一部分原本失败样本，并不表示总体更好：仅重置位置 32 同时破坏了大量原本正确的样本。联合重置则在所测循环恢复全部失败且不损伤原来正确的样本。较大模型也恢复了 79/79 个失败样本。［Table A27，PDF p. 31］

联合重置保留了前 30 个位置的晚期状态，在最后两处近似重放上一轮已成功的计算，因此说明这两处联合恢复足够重建首次失效的输出。但主模型继续到循环 34 后准确率又降至 63.7%，低于 clean 的 65.5%；较大模型则为 93.4%，高于 clean 的 76.8%。这个局部恢复没有建立持久修复方案，也没有识别具体的注意力电路。

## 五：结论——这篇论文怎样改变对循环推理的评测

本文最强的贡献是把一个模糊的“过度思考”现象拆成可检验的命题。监督位置覆盖和退出分布可以大幅改善答案保持；精确反事实替换显示，严重的晚期退化可以发生在一条曾经完全正确的计算轨迹之后；冻结实验进一步显示，答案保持得好，也不代表状态在答案刚出现时就能停止更新。

这为逐位置早停提出了一个具体问题：**停止标准必须考虑该位置对尚未完成计算的位置有什么作用。** 在本文受控设置下，等待若干轮可以恢复冻结后的性能，但所需延迟随模型与训练条件变化，作者没有提出可直接部署的安全停止算法。答案缓存保住已出现的结果时，模型内部仍在继续计算，所以它也不是已经验证的省算力方案。

本次分析认为，一个有价值的后续方向是将“答案读出何时稳定”与“供下游使用的状态何时可以固定”分别建模，再测试这种区分能否带来实际计算节省。这个方向来自实验启发；本文未训练这样的双目标停止机制，也未报告实际推理加速。

对结论影响最大的范围限制集中在三处：主要证据来自一个合成执行任务与一个基本循环架构；新训练控制只有三种子，且 sampled-prefix 依赖中间标签；全向量干预同时影响符号内容、历史和时间信息，因而支持功能层面的分离，尚不足以识别其微观原因。外部迷宫实验拓宽了观察范围，但一个检查点、每尺寸 32 个迷宫的结果，仍不足以确定大型语言模型中的同类状态何时可安全停止。［Sec. 7，PDF pp. 9–10］

组会讨论最值得追问的是：如果一个隐藏状态持续输出相同答案，它仍在为谁、以什么形式继续工作？本文给出了这种工作确实存在的因果证据；具体由哪些表示和计算承担，仍有待进一步定位。