# Lexical Reference Frames：用模型自身的词汇语义解释残差流

- **论文**：Lexical Reference Frames: Interpreting LM Residual Streams in Native Semantics
- **作者**：Jian Gu、Hongyu Zhang、Chunyang Chen、Aldeida Aleti
- **版本**：[arXiv:2610.22169v2](https://arxiv.org/abs/2610.22169v2)，2026-10-18 修订；本次研读：2026-11-12（r2）。
- **原文**：[本地 PDF](../source/paper.pdf)；同版本 PDF 与作者 TeX 获取于 2026-11-10，本次校验后复用。
- **发表**：未查到正式发表信息（截至 2026-11-12）；[arXiv 页面](https://arxiv.org/abs/2610.22169)及[作者仓库引用](https://github.com/jianguda/lexframe#citation)目前将其列为预印本。
- **代码**：[作者官方公开实现 jianguda/lexframe](https://github.com/jianguda/lexframe)，已有源码、示例与文档。
- **配套汇报**：[英文幻灯片 PDF](slides.en.pdf) · [可编辑 Beamer TeX](slides.en.tex)。文中页码均为从 1 开始的 PDF 页码，与本版页脚一致。

## 论文总览

隐藏状态的词汇含义由后面的网络如何使用它决定。直接把最终输出层的方向拿到中间层，或者对同一层所有状态使用一个固定线性变换，都会忽略剩余网络对上下文的依赖。LexFrame 将状态送入模型自身的剩余层，再在输出端读取词汇系数；通过限制后续跨位置注意力的信息传播轮数，区分状态已经携带的内容、它直接从前缀取得的内容，以及更长的上下文交互。

论文的论证链有三步。先把“模型如何读取一个状态”定义成原生参照系，并证明固定方向对它的平均余弦存在相干性上限；再构造不同阶数的近似，使参照系既依赖模型，又能控制所保留的上下文计算；最后分别检验读出分布、局部方向、状态替换、词汇写入和组件归因。

在 SmolLM3-3B 与 OLMo3-7B 上，LexFrame[1] 在中间深度与原生读出方向的平均余弦都是 **0.97**，固定方向的上限分别只有 **0.30、0.35**。跨中间层平均，读出相对完整模型输出的 KL 为 **0.16、0.15 nats**。更有解释力的结果是：有限阶参照系的**系数差分**比完整模型梯度的一阶归因更接近实际消融效果，而**词汇基向量**比梯度方向更适合减少干预对其他词的影响。（§3–4；PDF pp. 4–9）

## 结构地图

| 原文结构 | 在论证中的作用 | PDF 页码与主要证据 |
|---|---|---|
| 1 Introduction | 解释固定 lens 与点云统计缺少什么 | pp. 1–2，图 1 |
| 2 Related Work | lens、点云几何、方向与组件干预三条线索 | p. 3 |
| 3.1 Preliminaries | 残差状态、输出词汇基与系数 | p. 3 |
| 3.2 Native Reference Frame | 读出方向、写入基、系数、相干性上限 | p. 4，式 (1)–(2)，图 2 |
| 3.3 Orders of Reference Frames | 典型注意力与 0/1/2/∞ 阶 | pp. 4–5，式 (3)，图 3 |
| 4.1 Comparison with Lenses | 方向保真、分布保真与校准 | pp. 6–7，图 4、表 1 |
| 4.2 Comparison with Point-Cloud Geometry | 几何距离能否预测状态替换效果 | p. 7，图 5、表 2 |
| 4.3 Coordinates at Intermediate Layers | 写入方向及非线性系数 | pp. 7–8，表 3–4 |
| 4.4 Steering and Attribution | 干预选择性与组件归因 | pp. 8–9，表 5–6 |
| 5 Conclusion | 归纳参照系视角 | p. 9 |
| A Technical Details | 数据、数值求解、精度与统计口径 | pp. 12–13 |
| B Additional Results | 训练轨迹、深度弛豫、长上下文、稳定深度、消融、例子 | pp. 13–16，图 6–9、表 7–9 |
| C Properties of Reference Frames | 对偶关系、上限与精确性证明、复杂度 | pp. 16–17，式 (4)–(6) |
| D Discussion | 对隐藏状态解释与潜在应用的意义 | p. 18 |

## 一：动机——同一个输出词，在中间层未必对应同一个方向

语言模型的两端有明确接口：embedding 把词元映射成向量，unembedding 把最终状态变成词元 logits。中间层没有一个现成的词汇坐标定义。若要判断中间状态是否已经偏向某个答案，就必须决定采用什么读法。

**Logit lens** 直接使用输出读法；**Jacobian lens** 用剩余网络的平均 Jacobian 构造每层读法；**tuned lens** 则训练每层仿射映射去拟合输出。这些方法的共同问题是每层采用固定映射，无法跟随每个状态所处的上下文。另一类方法研究点云的秩、主方向、维数或层间相似度，但状态的分布规律不直接给出模型对它的响应。

作者以 OLMo3 的第 16/32 层为例：logit lens 与原生词汇读出方向平均相差 75°，Jacobian lens 相差 77°；到第 28 层，两者仍至少相差 41°。问题因此不仅是某个 lens 拟合得不好，还包括“每层一个方向”能表达什么。（§1，PDF p. 2，图 1）

![原图 2：跨层变化的词汇基](figures/fig02-transport.png)

原图 2，PDF p. 4。彩色轨迹表示不同词元的基向量，黑色轨迹表示状态；这是概念示意图。两端的词汇接口固定，中间的词汇方向随剩余网络及上下文变化。

这里的“原生语义”具体指模型的**词汇标签与输出响应**，不是外加的人工概念标签。它的价值是让解释、归因和干预在同一个可计算参照下比较。

## 二：方法——先定义原生参照，再控制保留多少后续计算

### 2.1 残差流和输出端的冗余词汇坐标

设共有 $L$ 层，$x_\ell(t)\in\mathbb R^d$ 为位置 $t$ 在第 $\ell$ 层后的残差状态，$\ell=0$ 为 embedding。第 $k$ 层写成

$$
x_k(t)=F_k\bigl(x_{k-1}(t),a_k(t)\bigr),
$$

其中 $a_k(t)$ 是注意力写入，$F_k$ 保留残差连接、归一化及 MLP。词表大小为 $|V|$，unembedding 为 $W\in\mathbb R^{|V|\times d}$，其第 $v$ 行记为 $w_v^\top$；$N$ 为最终归一化。输出 logit 及中心化 logit 为

$$
z_v=w_v^\top N(x_L(t)),\qquad
c_v=z_v-\frac1{|V|}\sum_u z_u.
$$

中心化消除全部 logits 同加常数的自由度，保持 softmax 分布不变。

输出词汇基定义为

$$
s_v=W^+e_v\in\mathbb R^d,
$$

$e_v$ 是词表中第 $v$ 个单位向量，$W^+$ 为 Moore–Penrose 伪逆。$s_v$ 让输出变化 $Ws_v$ 在最小二乘意义上接近只提高词 $v$ 的 $e_v$。词表通常大于隐藏维数，所以这一族向量是冗余 frame，并非线性无关基。$W$ 满列秩时，

$$
\sum_v z_v s_v=W^+W N(x_L)=N(x_L).
$$

一般情况下 $W^+W$ 是对应子空间投影；精确重构依赖这一秩条件。原文在输出端使用精确重构关系。（§3.1，PDF p. 3；附录 C.1，p. 17）

### 2.2 原生运输：固定切面上的前缀，继续运行剩余模型

在第 $\ell$ 层切开模型，以 $x_\ell(s),s<t$ 为给定上下文，考察 $x_\ell(t)$ 经剩余层到达最终状态的映射 $T_\ell$。所谓“固定前缀”，是固定切面上的输入条件；后续原生计算中，前缀仍按模型正常演化。

定义归一化运输的 Jacobian

$$
J_\ell=\frac{\partial N(T_\ell(x_\ell(t)))}{\partial x_\ell(t)}\in\mathbb R^{d\times d}.
$$

一个参照系包含三个需要分清的量：

| 量 | 定义 | 回答的问题 |
|---|---|---|
| 词汇系数 | $z_\ell(v)=w_v^\top N(T_\ell(x_\ell(t)))$ | 当前状态经运输后给词 $v$ 多大 logit？ |
| 词汇读出（lexical readout） | $b_\ell(v)=J_\ell^\top(w_v-\bar w)$ | 微小改变状态时，$v$ 的中心化 logit 怎样变化？ |
| 词汇基（lexical basis） | $s_\ell(v)=J_\ell^+s_v$ | 怎样改变状态，输出变化才能接近该词的目标方向？ |

其中 $\bar w=|V|^{-1}\sum_v w_v$。读出是协向量，提供局部敏感性；基向量是逆问题的解，提供局部写入方向。一般的 $J_\ell^\top$ 与 $J_\ell^+$ 不同，所以“提高某词最快”和“尽量只改变该词”对应不同方向。（§3.2，PDF p. 4，式 (1)–(2)）

**系数不是读出与原状态的内积。** 链式法则给出

$$
\langle b_\ell(v),x_\ell(t)\rangle
=\left.\frac{d}{d\alpha}c_v(\alpha x_\ell(t))\right|_{\alpha=1}.
$$

它测量缩放状态时的响应，而系数是非线性运输后的函数值。后续归一化破坏一次齐次性，不能把局部斜率当成函数值。实测此内积与中心化 logit 的相关性只有 0.10、0.02。（§4.3，PDF p. 8；附录 C.1，p. 17，式 (4)）

### 2.3 固定方向的相干性上限

对某层、某标签 $v$，把不同状态的原生读出归一化为 $\hat b_1,\ldots,\hat b_m$。对任何与状态无关的单位方向 $r$，

$$
\frac1m\sum_i\cos(r,\hat b_i)
=r^\top\bar b\leq\|\bar b\|,\qquad
\bar b=\frac1m\sum_i\hat b_i.
$$

设 $\hat\kappa$ 是不同样本对的平均余弦，则精确的有限样本恒等式为

$$
\|\bar b\|^2=\frac1m+\left(1-\frac1m\right)\hat\kappa.
$$

当样本很多，并按不同序列估计总体相干性 $\kappa_\ell(v)$ 时，上限趋向 $\sqrt{\kappa_\ell(v)}$，平均方向可达到它。再对标签平均，由平方根的凹性得到不超过 $\sqrt{\kappa_\ell}$ 的上界。若不同上下文中的原生方向互相偏离，任何固定方向都必须折中。（§3.2，PDF p. 4；附录 C.2，p. 17，式 (5)）

这个证明约束的是**固定方向与原生方向的平均余弦**，没有给出 lens 输出 KL 的同一上界。若 lens 额外经过最终归一化 $N$，其梯度会随状态变化，严格的固定向量证明不能直接覆盖整条复合梯度；原文另报告此类 lens 实测也在曲线界下。tuned lens 被作者排除在分布比较之外，因此实验没有给出与它的直接 KL 比较。

### 2.4 为什么需要有限阶

完整原生运输会在每个切面恢复完整模型输出。它适合定义敏感方向和干预参照，却不能仅靠相同输出显示“这一层自己具有什么”。LexFrame 于是有控制地替换部分后续注意力，保留其他模型计算。

![原图 3：不同阶数保留的注意力路径](figures/fig03-orders.png)

原图 3，PDF p. 5。从左到右为 0、1、2、∞ 阶，纵向是层，横向是位置；黑色注意力表示保留模型计算，蓝色虚线表示用典型注意力替代。阶数数的是**读取切面之后，信息路径跨位置传播的次数**。

- **0 阶**：保留全部剩余层的 $F_k$，以典型输出替换每层注意力。当前状态已经编码的上下文仍然在其中，只是不再显式取得后续跨位置信息。
- **1 阶**：目标位置每一层都执行真实注意力，但其看到的前缀由 0 阶流演化。它可以直接从前缀取信息，却不保留前缀在切面之后相互交互所产生的更新。
- **2 阶**：目标流看 1 阶前缀，1 阶前缀再看 0 阶前缀，允许信息经另一个位置中转。
- **∞ 阶**：恢复所有原生交互，即完整模型。

因此，1 阶不等于“只执行一层 attention”；它在每个剩余层仍有 attention，只是限制跨位置依赖的嵌套深度。改变阶数也不回溯删除切面之前已写入状态的上下文。

### 2.5 典型注意力：有校准，但不拟合模型最终答案

0 阶使用

$$
\hat a_k(y)=\bar a_k+G_k(y-\bar y_k),
$$

其中 $y$ 是该层当前位置的注意力输入，$\bar y_k,\bar a_k$ 为校准集输入、输出均值；$G_k$ 是输入到注意力写入的岭回归。每层单独从无标签文本估计，岭系数通过固定网格的两折交叉验证选择。（§3.3，PDF p. 5，式 (3)；附录 A.1，p. 13）

用列向量组织中心化样本矩阵 $Y_c,A_c\in\mathbb R^{d\times M}$，下式是帮助理解的标准岭回归展开：

$$
G_k=A_cY_c^\top(Y_cY_c^\top+\lambda I)^{-1}.
$$

预测目标是**同层注意力输出**，不使用最终输出 logits 或答案标签。论文所说“不训练”应理解为无需训练输出 lens 或修改模型权重；方法确实含有这个闭式回归校准。虽然 $G_k$ 是固定线性映射，整个 LexFrame 仍保留后续非线性网络，读出方向会随输入状态变化。

### 2.6 递归计算、精确性与成本

原文附录 C.2 用 $h_k^n(t)$ 表示阶数 $n$ 的流：

$$
\begin{aligned}
h_\ell^n(t)&=x_\ell(t),\\
h_k^n(t)&=F_k\bigl(h_{k-1}^n(t),a_k^n(t)\bigr),\\
a_k^n(t)&=\operatorname{Att}_k\bigl(h_{k-1}^n(t);\{h_{k-1}^{n-1}(s)\}_{s<t}\bigr),\quad n\ge1.
\end{aligned}
$$

0 阶用典型注意力作为递归底座。所有阶数从相同切面开始，下一层的 $n$ 阶流使用 $n-1$ 阶前缀；可对阶数和层数归纳证明，$h_k^n=x_k$ 对前 $n$ 个后续层成立。因此 **$L-\ell\le n$ 时，$n$ 阶的读数、读出与基都精确恢复原生参照系**。（PDF p. 17，式 (6)）

阅读某个切面需在剩余 $L-\ell$ 层上运行 $n+1$ 条流。按原文前向等价口径，读取一条序列所有层、所有位置约需 $(n+1)(L+1)/2$ 次完整前向；这是离线解释开销。Jacobian lens 推理更便宜，但拟合约需 $Pd$ 次反向，$P$ 为拟合提示数。作者测得 Jacobian lens 拟合时间是“校准并读取测试集 0–2 阶”的 18 倍、44 倍；这是一项特定实验预算比较，不是通用运行速度比。（附录 C.3，PDF p. 17）

## 三：实验——把读数、方向和干预分别检验

### 3.1 数据和统计口径

| 项目 | 原文设置 |
|---|---|
| 模型 | SmolLM3-3B，36 层、输入输出 embedding 共享；OLMo3-7B，32 层、不共享 |
| 主实验数据 | WikiText-103，128-token 序列 |
| 校准 | 训练集 256 条序列，一次前向收集各层注意力输入/输出 |
| 读数测试 | 测试集 64 条序列；层平均为 $1,\ldots,L-1$ 等权平均，排除 embedding 与最终层 |
| 方向比较 | 跨频率排序抽取 64 个词汇标签；原生参照系为基准 |
| 对照 | logit lens、以 100 个 prompts 拟合的 Jacobian lens；方向实验另有监督 ridge probe |
| 替换实验 | 每层 7,961 对状态，将一个位置替换为同层另一真实状态，继续完整前向 |
| 词汇基实验 | 每层 64 个状态、64 个词；移动长度为状态范数的 0.1 倍 |
| 归因 | 64 条测试序列，分别消融整层、attention、MLP 在目标位置的写入 |
| 训练轨迹 | 两种模型的多阶段 checkpoint；OLMo3 共 9 个，各 checkpoint 重新校准 |

主读数指标为 $D_{\mathrm{KL}}(p_{\mathrm{model}}\|p_{\mathrm{reading}})$，单位 nats、越低越好；Top-1 为与完整模型最大概率词的一致率；ECE 为相对**真实下一词**的期望校准误差，采用 15 个 bins。Top-1 一致率和真实下一词准确率是不同指标。（§4 Setup，PDF pp. 5–6；附录 A.1，pp. 12–13）

图中区间是按序列整体重采样得到的 95% percentile bootstrap，至少 300 次；同一序列的相关位置不拆开抽样。表中均值的区间半宽，对 KL 至多为相应值的 12%，干预 Side 至多 0.03 nats，其他值至多 0.04；典型注意力消融表是点估计。主要计算采用模型发布的半精度权重；词汇组合实验显式在 FP32 计算 Jacobian。

### 3.2 如何得到可执行的词汇基

理论定义 $s_\ell(v)=J_\ell^+s_v$，实现使用正则化最小二乘：

$$
\min_\delta\|J_\ell\delta-s_v\|^2+\lambda\|\delta\|^2,\qquad
\lambda=10^{-3}\frac{\|J_\ell^\top s_v\|^2}{\|s_v\|^2}.
$$

词汇组合实验显式形成 Jacobian 后闭式求解；逐位置 steering 使用 30 步 LSMR，通过 Jacobian-vector product 与 vector-Jacobian product 求解，避免形成完整矩阵。无论方向来自哪种近似参照系，**移动后的效果都在完整模型中评价**。（附录 A.1，PDF p. 13）

## 四：结果——有限阶既恢复读数，也保留干预所需的结构

### 4.1 与 lenses 比较：一次前缀交互已弥补大部分差距

![原图 7：读出方向与原生参照系的余弦](figures/fig07-directions.png)

原图 7，PDF p. 14，补充 §4.1 的方向比较。横轴是层，纵轴是与原生读出方向的平均余弦，上下分别为两个模型。灰色点线是固定方向的相干性界；蓝色为 LexFrame[1]/[2]，其他曲线为固定 lens 和 probe。1 阶在中间深度已接近 1，固定读法到最后几层才明显接近原生方向。

| 中间深度方向指标 | SmolLM3，第 18/36 层 | OLMo3，第 16/32 层 |
|---|---:|---:|
| 固定方向上界 $\sqrt{\kappa_\ell}$ | 0.30 | 0.35 |
| LexFrame[1] 平均余弦 | 0.97 | 0.97 |

这个 0.97 是中间深度的数据；在所有中间层平均，1 阶方向余弦是 0.89、0.87，低层仍有明显缺口。2 阶更早接近原生参照，符合“低层之后还有更多前缀交互”的解释。（§4.1，PDF p. 6；附录 B，pp. 14–15，表 8 位于 p. 16）

![原图 4：读取分布的跨层 KL](figures/fig04-readings.png)

原图 4，PDF p. 6。横轴为层，纵轴为从模型输出到读取分布的 KL，采用对数尺度；每个面板是一种模型。阶数增加时误差在几乎每层下降，不能将对数坐标上的等距离理解为相同 nats 差。

下表是表 1 的跨层平均结果（PDF p. 7）：

| 方法 | Smol KL↓ | OLMo KL↓ | Smol Top-1↑ | OLMo Top-1↑ | Smol ECE↓ | OLMo ECE↓ |
|---|---:|---:|---:|---:|---:|---:|
| Logit lens | 29.06 | 5.66 | 0.04 | 0.15 | 0.632 | 0.107 |
| Jacobian lens | 7.51 | 6.19 | 0.14 | 0.13 | 0.376 | 0.191 |
| LexFrame[0] | 0.87 | 0.93 | 0.64 | 0.64 | 0.018 | 0.045 |
| LexFrame[1] | 0.16 | 0.15 | 0.86 | 0.86 | 0.027 | 0.018 |
| LexFrame[2] | 0.06 | 0.05 | 0.92 | 0.93 | 0.020 | 0.020 |

从 0 阶到 1 阶，KL 分别减少 0.71、0.78 nats；按表中舍入值计算，相对下降约 81.6%、83.9%。0 阶和 lens 都不显式读取新的前缀状态，但 0 阶明显更好，说明保留剩余非线性网络本身十分关键；再开放一轮跨位置交互，得到更接近完整模型的分布。

完整模型 ECE 为 0.018、0.023，1 阶为 0.027、0.018，处于相近量级。ECE 不随阶数严格单调；更接近模型分布也不必然带来更低的真实标签校准误差。1 阶在 embedding 的 Top-1 一致率只有 0.42、0.39，此时缺少的后续交互仍然重要。

SmolLM3 的 logit lens 特别差，还与共享输入输出词表有关：embedding 层在多数位置读回输入词本身，OLMo3 几乎不出现这种回读。（§4.1，PDF p. 6）

### 4.2 点云距离：状态相近未必意味着替换后预测相近

每层用真实状态替换另一位置，完成原生前向，测量输出改变。然后问：替换前两个向量之间的距离，能否预测这一效果？表 2 给出跨层平均的秩相关：

| 比较依据 | SmolLM3 | OLMo3 |
|---|---:|---:|
| 隐藏状态余弦距离 | 0.27 | 0.28 |
| 欧氏距离 | 0.08 | 0.12 |
| 主子空间距离 | 0.09 | 0.13 |
| Mahalanobis 距离 | 0.08 | 0.03 |
| 测地距离 | 0.09 | 0.07 |
| Jacobian lens 读数距离 | 0.28 | 0.24 |
| LexFrame[1] 读数间 KL | **0.94** | **0.95** |

表 2，PDF p. 7。比“两个向量在几何上有多远”更有预测力的是“它们在剩余模型看来有多不同”。1 阶在 embedding 的相关性也有 0.64、0.66，中间深度进一步升高。

![原图 5：读出方向落在点云主子空间中的能量比例](figures/fig05-tangent.png)

原图 5，PDF p. 7。每个状态用 128 个最近邻估计局部子空间，也用全体状态估计全局子空间，取各自前 64 个主方向。纵轴为读出方向平方范数投影在子空间中的比例，灰色虚线为随机方向参照。读出敏感方向大部分在这些主变化方向之外，支持“状态方差最大的方向，与后续模型最敏感的方向不一致”这一解释。

这个实验解释了此处距离度量的不足。它没有直接测量所有可能的点云统计是否有用，也不意味着有效秩或层间相似度失去各自的描述用途。

### 4.3 中间层词汇坐标：会读与会写是两个问题

**词汇组合测试。** 沿某词方向移动状态范数的 0.1 倍，检查“该词是否为 logit 增幅最大的词”。这比仅判断该词是否上升更能区分选择性：

| 方向来源 | SmolLM3 成功比例 | OLMo3 成功比例 |
|---|---:|---:|
| 固定输入基 | 0.42 | 0.00 |
| 固定输出基 | 0.45 | 0.80 |
| LexFrame[1] 读出 | 0.54 | 0.73 |
| LexFrame[1] 词汇基 | **0.84** | **0.97** |
| 原生读出 | 0.56 | 0.79 |
| 原生词汇基 | **0.98** | **1.00** |

表 3，PDF p. 8。梯度使目标词最快上升，但也可能更强地提高共变的其他词；通过伪逆回拉的词汇基更接近指定的输出变化。OLMo3 不共享词表接口，固定输入基几乎不能充当输出词汇的写入方向。

**系数分解测试。** 表 4 在 512 个位置上比较：直接对原层状态使用输出行、对一个固定映射的结果使用输出行，以及对运输后的状态使用输出行。即使采用最佳尺度，前两者仍有数 nats 的偏差；1 阶为 0.16、0.15 nats，原生运输为零。这里 Top-1 为 0.87、0.84，是表 4 的采样口径；表 1 的 0.86、0.86 属于主读数实验，两者不能替换。（PDF p. 8）

局部 frame 的对偶关系也需要投影来理解。采用未中心化的输出行时，忽略 ridge，

$$
\sum_v s_\ell(v)(J_\ell^\top w_v)^\top=J_\ell^+J_\ell.
$$

右侧是可以到达输出的状态方向投影。中间层的冗余坐标通过非线性运输关联，不能把它简化成一个全局固定的线性分解矩阵。（附录 C.1，PDF p. 17）

### 4.4 Steering：基向量以更小旁效应实现翻转

令 $v$ 为原始第一名词，$u$ 为第二名词。比较两种方向：

$$
\delta_{\mathrm{readout}}\propto b_\ell(u)-b_\ell(v),\qquad
\delta_{\mathrm{basis}}\propto s_\ell(u)-s_\ell(v).
$$

移动长度从状态范数的 0.01 到 1 倍，记录第一次让第二名超过第一名的步长与其他词的变化。Reach 是翻转比例；Side 是成功首次翻转时其他词的平均变化，单位 nats；Clean 是同时翻转且 Side 小于 0.1 nats 的比例。Clean 的分母是原测试预测集合，不能理解为“成功翻转中的纯净率”。原文对 Side 没有再给独立的完整计算公式，这里沿用其报告口径。（§4.4，PDF pp. 8–9，表 5）

| 方向 | Smol Reach↑ | Smol Side↓ | Smol Clean↑ | OLMo Reach↑ | OLMo Side↓ | OLMo Clean↑ |
|---|---:|---:|---:|---:|---:|---:|
| Logit lens | 0.69 | 0.20 | 0.49 | 0.81 | 0.22 | 0.57 |
| Jacobian lens | 0.78 | 0.37 | 0.49 | 0.79 | 0.32 | 0.51 |
| LexFrame[1] 读出 | 0.92 | 0.23 | 0.61 | 0.94 | 0.20 | 0.64 |
| LexFrame[1] 词汇基 | 0.89 | 0.12 | **0.71** | 0.95 | 0.07 | **0.82** |
| 原生读出 | 0.95 | 0.22 | 0.63 | 0.97 | 0.19 | 0.67 |
| 原生词汇基 | 0.90 | 0.11 | **0.73** | 0.97 | 0.06 | **0.85** |

以 OLMo3 为例，1 阶基向量的干净翻转率比 1 阶读出高 **18 个百分点**，同时 Side 从 0.20 降为 0.07 nats。SmolLM3 则体现取舍：基向量使 Reach 从 0.92 略降到 0.89，但 Clean 从 0.61 升到 0.71。实验检验的是在当前分布下将第二名推过第一名的局部干预，而不是任意目标词的知识编辑。

### 4.5 Attribution：有限差分比精确梯度的一阶近似更可靠

参考效果是：移除某组件在目标位置写入的向量 $q$，前缀不变，运行剩余完整模型，观察原预测词 $v$ 的中心化 logit 改变。为说明差分与线性近似，可在同一干预切面记为

$$
A^{(n)}=c_v^{(n)}(x)-c_v^{(n)}(x-q),\qquad
A_{\mathrm{linear}}^{(n)}=b^{(n)}(v)^\top q.
$$

这是对原文操作的记号化说明：第一项直接比较保留/删除写入后的系数，第二项对删除量作局部线性近似。原生 $n=\infty$ 的差分就是参考消融效果；原生梯度的线性式对应 attribution patching。这里不应把“相邻层原生完整输出读数之差”当成归因：在未干预轨迹上，它们本来就是同一个输出。

表 6（PDF p. 9）报告归因与实际消融效果的跨层平均相关性：

| 归因方法 | Smol 层 | Smol Attention | Smol MLP | OLMo 层 | OLMo Attention | OLMo MLP |
|---|---:|---:|---:|---:|---:|---:|
| Logit lens 差分 | 0.08 | 0.13 | 0.04 | 0.14 | 0.18 | 0.12 |
| Jacobian lens 差分 | 0.12 | 0.18 | 0.10 | 0.15 | 0.20 | 0.12 |
| LexFrame[1] 差分 | **0.88** | **0.79** | **0.88** | **0.90** | **0.85** | **0.90** |
| LexFrame[1] 线性 | 0.57 | 0.67 | 0.58 | 0.62 | 0.75 | 0.64 |
| 原生梯度线性 | 0.62 | 0.75 | 0.63 | 0.68 | 0.84 | 0.71 |

决定性比较是 1 阶差分对原生线性归因：前者运输近似，却保留有限变化的非线性；后者使用真实 Jacobian，却只保留一阶项。MLP 写入上差距为 0.88 对 0.63、0.90 对 0.71；Attention 写入上差距较小，为 0.79 对 0.75、0.85 对 0.84。这支持作者的解释：本实验中，剩余模型对 MLP 写入的响应具有更明显的非线性。（§4.4，PDF p. 9）

### 4.6 附录结果：训练、深度、上下文与校准

**训练轨迹。** 随训练推进，原生中间层方向逐渐偏离输出方向，logit lens 的平均 KL 从 4.82、2.32 增至 29.06、5.66 nats；1 阶从 0.15、0.02 变为 0.16、0.15。1 阶在每个已训练 checkpoint 的 Top-1 至少为 0.85、0.86。各 checkpoint 都重新校准，因而不存在拿旧的校准器评估新权重的混淆；最早的 Smol checkpoint 已经过大量训练，OLMo3 另含随机初始化对照。（附录 B，PDF pp. 13–14，图 6）

**随深度的接近过程。** 1 阶方向到原生方向的平均夹角，每层约缩小剩余角度的 9.2%、10.5%，指数拟合 $R^2=0.98、0.99$。SmolLM3 第 8–17 层的相干性平方根约停在 0.29，并伴随较慢接近；这一平台在训练到 2.5T tokens 时还没有，在 8.1T 后出现，OLMo3 的九个 checkpoint 都没有。权重共享和架构从训练开始就固定，所以它们不能单独解释平台何时出现。作者将指数拟合联系到过阻尼弛豫与最小耗散；本文将其视为对实测曲线的物理类比，原文未建立对应的动力学模型。（PDF pp. 14–15，图 8）

**上下文延长。** 将序列从 128 延长到 1,024 tokens，在相同校准 token 总量下测试 64 条序列：

| 方法 | Smol KL：128→1,024 | OLMo KL：128→1,024 |
|---|---:|---:|
| LexFrame[1] | 0.16→0.25 | 0.15→0.18 |
| LexFrame[2] | 0.06→0.15 | 0.05→0.08 |

1 阶在长序列中仍与模型在大部分状态上保持 Top-1 一致，各方法排序保持。图 9 按位置显示误差逐渐增长，验证范围到 1,024 tokens。（PDF p. 15）

**典型注意力消融。** 下表为表 8（PDF p. 16），每格按 Smol/OLMo 顺序：

| 0 阶流的注意力替代 | 1 阶 KL↓ | 方向余弦↑ | 层归因相关性↑ |
|---|---|---|---|
| 均值 + 输入相关回归 | **0.16 / 0.15** | **0.89 / 0.87** | **0.88 / 0.90** |
| 只保留均值 | 1.26 / 0.52 | 0.73 / 0.74 | 0.67 / 0.77 |
| 全设为零 | 0.76 / 0.47 | 0.71 / 0.74 | 0.68 / 0.77 |

回归明显优于均值或零替代，说明被隐去的注意力不是简单常量；只用均值甚至不一定比零更好。三份不重叠校准文本得到的 KL 范围为 0.160–0.163、0.146–0.151，表明本数据设置内对具体校准样本不太敏感。

### 4.7 稳定深度与提前退出：读得早，不等于运行得快

从最终层向前数，读数持续匹配完整模型 Top-1 的连续层段，定义为 settling。它需要事后知道模型最终答案。可执行的阈值退出则只观察当前读数的 Top-1 概率：用一半序列选择达到 0.95 模型一致率的阈值，在另一半测试。

| 方法 | Smol 稳定层比例 | OLMo 稳定层比例 | Smol 阈值跳层比例 | OLMo 阈值跳层比例 |
|---|---:|---:|---:|---:|
| Logit lens | 0.03 | 0.11 | 0.00 | 0.04 |
| Jacobian lens | 0.09 | 0.09 | 0.00 | 0.03 |
| LexFrame[0] | 0.58 | 0.58 | 0.23 | 0.20 |
| LexFrame[1] | 0.82 | 0.81 | 0.45 | 0.42 |
| LexFrame[2] | 0.89 | 0.90 | 0.53 | 0.54 |

表 7，PDF p. 16。稳定层段比阈值能实际选择的层段更长，因为后者不能预知最终词。**LexFrame 自身仍要运输经过剩余层，作者明确指出没有节省计算。** 这些数据说明固定 lens 迟迟看不到的预测已经可以通过模型原生读法取得，也为更廉价的退出读法提供目标；不能把 45% 跳层写成 45% 推理加速。（附录 B，PDF p. 15）

原文还给出 OLMo3 的例子：前缀 `A review of Boulter 's performance in The`，模型最终给 `Guardian` 概率 0.29，`Times` 为 0.22。每隔四层查看，1 阶第 12 层读到 `Times`，第 16 层起读到 `Guardian`；Jacobian lens 第 20 层，logit lens 第 24 层才读到 `Guardian`。这里是“所列层中首次”，不是声称已逐层确定最早命中点。（表 9，PDF p. 16）

## 五：结论——解释隐藏状态时，应把下游计算纳入参照

论文提供了一套贯通读取与干预的定义：系数是运输后的词汇读数，读出是它的局部导数，词汇基是向目标输出方向移动的逆问题解。有限阶运输进一步使“保留多少后续上下文计算”成为可控变量。在所测的两种模型和 WikiText 文本上，一轮前缀交互已保留中间深度的大部分原生读法，且系数差分和基向量分别改善了消融归因与选择性干预。

本次分析认为，最有启发性的结果是**模型敏感方向、状态主要变异方向和选择性写入方向可以彼此不同**。研究表示几何时，需要明确测的是数据分布、局部输出响应，还是对指定词汇变化的控制能力；一个好梯度也不能自动替代非线性差分。

实际采用时有三项具体取舍。首先，LexFrame 需要重跑剩余层，多切面、多阶数读取以及基向量求解都有成本；它适合离线分析和作为参照读法。其次，固定方向的理论界不能替代对训练型 lens 的分布保真比较，原文没有纳入 tuned lens 的直接实验。最后，干预验证集中于第二名翻转和单位置组件消融，长上下文验证到 1,024 tokens；论文提到的幻觉检测、知识编辑、蒸馏等是应用方向，本文并未报告这些下游任务上的改进。

值得继续研究的问题由此很具体：能否把有限阶运输得到的优质读数蒸馏成廉价的上下文自适应读取器，并保留当前在归因与干预中观察到的结构？这将直接回应论文已经揭示、但尚未解决的计算成本问题。