# Transformer 注意力输出的维度坍缩：中文研读笔记

**原题**：Dimensional Collapse in Transformer Attention Outputs: A Challenge for Sparse Dictionary Learning  
**作者**：Junxuan Wang、Xuyang Ge、Wentao Shu、Zhengfu He、Xipeng Qiu  
**原文版本**：arXiv:2508.16929v4，2026-02-11 修订；本次获取与研读日期：2026-11-11。  
**原文**：[arXiv v4](https://arxiv.org/abs/2508.16929v4) · [本地 PDF](../source/paper.pdf)  
**发表**：已发表于 ICML 2026，PMLR 306:126304–126331；[正式论文集页面](https://proceedings.mlr.press/v306/wang26bh.html)。本笔记分析的仍是 arXiv v4。  
**代码**：[作者官方实现 OpenMOSS/Llamascopium](https://github.com/OpenMOSS/Llamascopium)（原 Language-Model-SAEs / lm-saes）；仓库提供 SAE/Lorsa 与活跃子空间初始化实现，见 [initializer.py](https://github.com/OpenMOSS/Llamascopium/blob/dev/src/llamascopium/initializer.py)。发表与代码状态核实于 2026-11-11。

## 论文总览

这篇论文把两个现象联系起来：注意力输出的主要变化集中在较小子空间，而在这些输出上训练的稀疏自编码器（Sparse Autoencoder，SAE）常有大量从不激活的特征。作者先通过奇异谱、有效秩及下游损失恢复实验描述前者，再用 **活跃子空间初始化（Active Subspace Initialization，ASI）** 改善后者：先找激活的主要右奇异向量，将随机解码字典投影进去，再用其转置初始化编码器，后续正常训练。

核心结果要分三个层次理解。首先，主实验中注意力输出的有效秩约为隐藏维度的 60%，MLP 输出和残差流约为 90%；这是谱集中程度，并不表示其余维度严格为零。其次，在 Llama-3.1-8B 第 15 层、32,768 特征、$k=50$ 时，ASI 将平均死特征数从 16,144.33 降为 4.00，归一化重建误差从 0.33367 降为 0.31680。最后，扩展到约百万特征时，**ASI 与 SparseAdam 组合**把死特征比例从标准 TopK 的约 87% 降到不足 1%；单用 ASI 仍会留下大量死特征。（Sec. 4–5，PDF pp. 4–8；Table 4，PDF p. 20。）

论文的主要价值是提供一种几何感知的初始化方式，同时提醒我们：**死特征少、重建好、语义可解释性强，是需要分别评价的目标。**

## 结构地图

下文页码均为从 1 开始的 PDF 页码，与本版正文印刷页码一致。主要公式在原文中未编号，因此按章节及定义定位。

| 原文章节 | 论证作用 | PDF 页码与关键证据 |
| --- | --- | --- |
| 1 Introduction | 将注意力输出低有效秩与死特征问题连接 | pp. 1–2，Fig. 1 |
| 2 Related Work | 区分注意力图低秩、参数低秩与输出激活低秩；介绍 SDL/初始化背景 | pp. 2–3 |
| 3 Preliminaries | 定义多头输出 $O=ZW^O$ 与 TopK SAE | p. 3 |
| 4 Low-Rank Structure of Attention Outputs | 有效秩、谱尾、任务损失与输出投影分析 | pp. 3–5，Figs. 2–4 |
| 5 Active Subspace Initialization for Sparse Autoencoders | 相关性、ASI、扩展规模、Lorsa | pp. 5–8，Figs. 5–9 |
| 6 Discussion and Limitations / 7 Conclusion | 因果解释仍开放；低秩激活是主要受益场景 | p. 8 |
| A–D | 激活来源、损失恢复定义、SVD 稳定性与更多谱结果 | pp. 14–17，Figs. 10–11 |
| E–I | 训练设置、死特征对照、完整结果、显著性、跨模型验证 | pp. 16–21，Tables 1–7 |
| J–K | 随机子空间/残差流消融、子空间维度、实现伪代码 | pp. 21–23，Figs. 12–13 |
| L–O | 激活函数与高初始 $L_0$ 训练、动量、特征质量、Lorsa 设置 | pp. 24–27，Figs. 14–16，Tables 8–10 |

## 一：动机——为什么初始化几何值得关注

### 1.1 SAE 为什么会浪费大量特征

SAE 希望把模型激活解释成少数特征方向的线性组合。扩大字典可以容纳更细粒度的特征，但如果许多特征始终不能进入 TopK，它们既不能改善重建，又占用参数与训练资源。论文将“死特征”定义为：**在 1,000 万 token 的评估中从未激活的特征**。（Sec. 2.3，PDF p. 3。）

既有 AuxK 辅助损失尝试让不活跃特征参与残差重建；重采样则替换无效特征。作者提出更早的切入点：如果数据主要落在某个子空间，满空间随机字典的相当一部分分量会指向几乎没有数据变化的方向。初始化与激活几何不匹配，可能加剧特征竞争及死亡。

这也解释了为什么应先测量**实际训练位置**的激活，而不只看模型的名义隐藏维度。论文的对象是注意力块写入残差流的输出 $O$，与 softmax 注意力权重矩阵 $A_i$ 的低秩不是一回事，也不同于拼接后的头输出 $Z$。例如 GemmaScope 的 attention SAE 训练位置是 $Z$，不能直接套用本论文对 $O$ 的死特征判断。（Sec. 5.1，PDF pp. 5–6。）

![注意力输出子空间与 SAE 初始化](figures/head_pic_icml.png)

原文 Fig. 1，PDF p. 2。左侧表示注意力只沿残差空间中的部分方向写入；右侧表示把初始字典对齐到这些方向。它是概念图，定量证据来自后面的谱分析和训练对照。

### 1.2 作者提出了什么新思路

贡献链条是：**刻画输出几何 → 找到低有效秩与死特征的对应 → 用数据子空间改造初始化 → 检验重建与规模扩展。**

这项工作以实证分析为主。原文 Sec. 6 明确承认，低秩结构如何通过优化动力学或特征竞争产生死特征，仍缺少严密的因果解释。ASI 是一个有针对性的干预证据；论文没有给出“任何低秩输入必然产生死特征”的定理。

## 二：方法——从激活谱到活跃子空间初始化

### 2.1 先把注意力输出的位置说清楚

令 $X\in\mathbb R^{n\times d}$ 为输入，$n$ 是 token 数，$d$ 是隐藏维度；标准多头注意力有 $H$ 个头，每头维度 $d_h=d/H$：

$$
Q_i=XW_i^Q,\quad K_i=XW_i^K,\quad V_i=XW_i^V,
$$
$$
A_i=\operatorname{softmax}\!\left(\frac{Q_iK_i^\top}{\sqrt{d_h}}\right),\qquad Z_i=A_iV_i.
$$

把头输出拼接为 $Z=[Z_1,\ldots,Z_H]\in\mathbb R^{n\times d}$，再经过 $W^O\in\mathbb R^{d\times d}$：

$$
O=ZW^O=\sum_{i=1}^H Z_iW_i^O,\qquad W_i^O\in\mathbb R^{d_h\times d}.
$$

本文分析的是 $O$。即使每个头最多贡献 $d_h$ 个方向，不同头写入的子空间也可能重叠，或者某些方向被 $W^O$ 强烈衰减，导致总输出谱集中。（Sec. 3.1、4.4，PDF pp. 3、5。）

### 2.2 有效秩衡量谱的均匀程度

对激活矩阵 $A\in\mathbb R^{n\times d}$ 按列去均值，得到 $\widetilde A$。分解为

$$
\widetilde A=U\Sigma V^\top,\qquad
p_j=\frac{\sigma_j}{\sum_{k=1}^{r}\sigma_k},
$$
$$
\operatorname{erank}(\widetilde A)
=\exp\!\left(-\sum_{j=1}^{r}p_j\log p_j\right).
$$

$\sigma_j$ 是非负奇异值，$r$ 是分解中相应的秩；$V$ 的列是激活空间中的右奇异方向。图中的有效秩比例是 $\operatorname{erank}/d$。这里使用**奇异值**归一化，不是用 $\sigma_j^2$ 归一化的方差解释率，也不是按阈值计数的数值秩。（Definition 4.1，PDF p. 4。）

教学例子：四个奇异值都相等时，$p_j=1/4$，有效秩为 4；只有一个方向占据全部谱质量时，有效秩趋近 1。因而“有效秩 60%”描述连续的谱集中程度，不能直接当作 ASI 应保留的方向数。

### 2.3 用语言模型损失检验哪些方向重要

谱能量集中未必意味着任务信息也集中。作者按奇异值从大到小逐步保留方向，用投影激活替换原激活，再比较语言模型交叉熵：

$$
\operatorname{FLR}(m)
=\frac{L_{\rm zero}-L_{\rm recovered}(m)}
{L_{\rm zero}-L_{\rm original}}.
$$

$L_{\rm zero}$ 是把该位置激活置零后的损失；$L_{\rm original}$ 是原模型损失；$L_{\rm recovered}(m)$ 是保留前 $m$ 个方向的损失。越接近 1，表示相对置零消融所损失的性能恢复得越完整。**恢复 99% 的损失差**不表示重建 99% 的激活方差或实现 99% 的任务准确率。（Sec. 4.1，PDF p. 4；App. B，PDF p. 14。）

### 2.4 输出投影如何进一步压缩谱尾

对于单位输出方向 $\hat e$，令 $v=W^O\hat e$、$\hat v=v/\|v\|_2$，则在 $v\ne0$ 时：

$$
\operatorname{Var}(O\hat e)
=\operatorname{Var}(Z\hat v)\,\|W^O\hat e\|_2^2.
$$

第一项反映拼接头输出在相应方向提供多少变化，第二项反映输出矩阵如何缩放它。Fig. 4 沿 $O$ 的奇异方向比较二者：主方向的变化较多跟随 $Z$，尾部额外衰减主要跟随 $W^O$ 的缩放。因此，注意力输出的低有效秩不能仅归于某个单头维度很小。（Sec. 4.4，PDF p. 5。）

这里的方差与奇异值平方相差一个样本数归一化因子；如果读的是图中的奇异值尺度，应对应标准差因子。原文从头子空间重叠给出直觉解释，但总维度至多为 $d$ 的不等式本身不能推出有效秩约为 $0.6d$。

### 2.5 ASI：只在初始化时折入投影

先统一采用原文 Sec. 5.2 的**行向量约定**，避免与 Sec. 3.2 的列向量写法混淆。令 $h$ 为 SAE 字典大小：

| 符号 | 形状 | 含义 |
| --- | --- | --- |
| $x$ | $1\times d$ | 单个激活 |
| $W_E$ | $d\times h$ | 编码器 |
| $W_D$ | $h\times d$ | 解码字典，每行一个特征方向 |
| $V_{\rm active}$ | $d\times d_{\rm init}$ | 前 $d_{\rm init}$ 个右奇异向量 |
| $P$ | $d\times d$ | 活跃子空间正交投影 |

前向与损失为：

$$
z=\operatorname{TopK}(xW_E+b_E),\qquad
\hat x=zW_D+b_D,
$$
$$
\mathcal L=\|x-\hat x\|_2^2+\alpha\mathcal L_{\rm aux}.
$$

标准 TopK 只优化重建；AuxK 加入辅助项，试图激活不活跃特征。ASI 的步骤则是：

1. 收集代表性激活并去均值，计算 SVD。
2. 取 $V_{\rm active}=V_{:,:d_{\rm init}}$，构造 $P=V_{\rm active}V_{\rm active}^\top$。
3. 将随机解码字典更新为 $W_D\leftarrow W_DP$。
4. 采用绑定初始化 $W_E\leftarrow W_D^\top$，再正常训练全部参数。

原文 Sec. 5.2 的文字说投影“前 $d_{\rm init}$ 列”，但其矩阵公式与 App. K 伪代码实际对**整个字典**右乘投影；应以公式和伪代码为准。伪代码还把去均值变量误写为 `demeaned_label`，阅读时应对应前面得到的激活矩阵。（PDF pp. 6、22。）

**ASI 没有要求每步把字典重新投影回来，也没有永久把输入降维。** 权重初始化后可以离开初始子空间；这既允许模型继续学习小谱方向，也解释了为什么训练初期的稀疏度安排会影响效果。$d_{\rm init}=d$ 时，$P=I$，退化为普通初始化。主配置取 $d_{\rm init}=768$，明显小于约 2,500 的有效秩；前者是优化超参数，后者是谱统计量。

从几何上看，随机特征 $w=w_{\rm active}+w_{\perp}$ 中的 $w_{\perp}$ 对近似位于活跃子空间的输入响应很小。投影后，初始化方向与数据变化更加一致。这是理解干预的直觉，具体的特征竞争动力学仍是开放问题。计算 SVD 和投影需要一次性预处理，但折入权重后没有增加每个训练样本的投影层；不能把“同阶训练开销”解释为完全没有预处理成本。

### 2.6 扩展到 Lorsa：按原注意力头组织初始化

Lorsa 用大量稀疏单元替换整个注意力计算，而不是只编码已经算好的 $O$。因此，初始化还要顾及输入方向、输出方向和 Q/K 结构。作者把 Lorsa 单元按原 MHSA 头分组，各组在对应头的输入/输出活跃子空间中初始化，并从原 MHSA 复制该组 Q/K。（Sec. 5.4，PDF p. 8；App. K、O，PDF pp. 23、26–27。）

更具体地，先对每头 value 投影回输入空间的激活做 SVD，取主方向初始化 Lorsa 的 $W_V$；再沿原头的 OV 通路构造输出方向：

$$
W_O^{\rm Lorsa}[g_i]
\leftarrow W_V^{\rm Lorsa}[g_i]W_V^{\rm MHSA}[i]W_O^{\rm MHSA}[i],
$$

最后逐行归一化 $W_V^{\rm Lorsa}$ 和 $W_O^{\rm Lorsa}$。这相当于给编码与解码建立有意义的初始对应。该实验测试的是整套 Lorsa 初始化方案的效用，其中也包含 Q/K 初始化变化；不能把提升全部分配给单一输出投影步骤。

## 三：实验——每组对照回答什么

### 3.1 激活几何与稳定性

每类激活收集 1,000 万个向量，排除范数超过均值 5 个标准差的极端值。默认模型为 Llama-3.1-8B，位置为零起始第 15 层，数据为 SlimPajama。主文比较注意力输出、MLP 输出和层后残差流，并扩展到 GPT-2、Gemma-2-9B、Qwen3-8B；附录补充 Pythia、Qwen3-4B、代码子集和中文 CCI3-Data，以及 $Z$、MLP 中间激活等位置。（Sec. 4.2、App. A、D，PDF pp. 4、14–17。）

App. C 对五组不同的 1,000 万 token 独立做 SVD：有效秩均值 2523.165、标准差 0.404；原文报告有效秩变异系数约 $1.5\times10^{-4}$，最大单个奇异值变异系数 $4.9\times10^{-3}$。这支持谱估计在该配置下稳定，不涉及 SAE 的随机种子统计。

### 3.2 SAE 主实验协议

| 设置 | 原文配置 |
| --- | --- |
| 模型与位置 | Llama-3.1-8B，第 15 层 attention output，$d=4096$ |
| 数据与训练量 | SlimPajama，每个 SAE 800M token |
| 字典与稀疏度 | 默认 $h=32768$，$k=50$；另做 $k$ 和字典规模扫描 |
| ASI 子空间 | 默认 $d_{\rm init}=768$ |
| 批大小 | 4096 |
| 优化器 | 默认 Adam；规模实验另加 SparseAdam |
| 学习率 | 分别扫描后选 Adam $4\times10^{-5}$、SparseAdam $6\times10^{-5}$ |
| 动量参数 | 两者均为 $\beta_1=0.9,\beta_2=0.999,\epsilon=10^{-8}$ |
| 调度 | 前 500 步线性预热，末尾 20% 步数衰减至峰值的 1% |
| AuxK | $\alpha=1/32$，$k_{\rm aux}=512$ |
| 数据处理 | 每篇截断至 1024 token，排除 BOS/EOS/PAD 激活，缓冲打乱 |

来源：App. E，PDF pp. 16、18。不同优化器使用各自选出的学习率，组合方案的结果不是“只更改一个初始化开关”的严格单因素比较。

### 3.3 基线与指标怎么读

- **TopK / Base**：普通初始化，仅重建目标，建立死特征及重建基准。
- **AuxK**：TopK 加辅助损失，代表主动复活不活跃特征的方案。
- **ASI**：TopK 改用活跃子空间初始化，默认仍用 Adam。
- **ASI + SparseAdam、AuxK + SparseAdam**：在大字典规模下区分初始化与优化器效应。
- **随机子空间初始化**：同样缩小初始维度，但不依据数据选择方向，检验“方向对齐”而不只是“维度变小”。

**死特征数/比例越低越好**，但只反映使用率。**Normalized MSE 越低越好**，衡量重建误差；v4 没有明确列出其归一化分母，因此这里保留作者数值，不自行把它换算为方差解释率。**$\Delta$ LM Loss 越低越好**，是在 100 万 token 上用 SAE 替换后对语言模型损失的影响。原文脚注仅笼统描述“两种损失之差”，表图以正数及 lower-is-better 表达退化，以下按 $L_{\rm SAE}-L_{\rm original}$ 的增加量解释；跨文献比较时需先确认符号约定。（Sec. 5.2，PDF p. 6；Tables 4、6、7。）

重复统计也要分组：Fig. 6、Fig. 7/Table 4 使用 3 个随机种子；独立的显著性实验使用每种方法 15 个随机种子。不能把全部实验统一描述成 15 次重复。

## 四：结果——几何、重建、规模与边界

### 4.1 注意力输出的谱集中，而且任务信息也集中

![三类激活的有效秩比例](figures/effective_rank.png)

原文 Fig. 2，PDF p. 4。纵轴为有效秩除以隐藏维度；左、中、右分别比较层、模型、数据集。注意力输出通常明显更低。这个结论指广泛的经验趋势，附录中也有残差流更低的配置，例如 Qwen3-8B 的代码子集：残差有效秩 2000，注意力为 2410。（Fig. 10，PDF p. 15。）因此不能把主文约 60%/90% 当作所有模型、语料和位置的固定常数。

| 统计量 | 注意力输出 | MLP 输出 | 残差流 |
| --- | ---: | ---: | ---: |
| 主文概括的有效秩比例 | 约 60% | 约 90% | 约 90% |
| 超过最大奇异值 1% 的奇异值比例 | 74.7% | 100.0% | 100.0% |
| 恢复超过 99% 下游损失差所需维度比例 | 39.1% | 95.3% | 96.9% |

来源：Sec. 4.3、Fig. 3，PDF p. 5。后两行对应默认中间层实验，不同于第一行的跨配置概括。

![按保留主方向数恢复下游损失](figures/dim_ablate_downstream_loss.png)

原文 Fig. 3b，PDF p. 5。横轴是保留主方向数，纵轴是相对置零消融的损失恢复比例。注意力输出曲线更早趋近 100%，说明任务相关贡献高度集中在较少的主方向。

![输出谱的来源分解](figures/z_wo.png)

原文 Fig. 4，PDF p. 5。横轴按输出奇异方向排序，纵轴为归一化谱尺度；输出的尾部下降与 $W^O$ 的缩放贡献更加一致。这里支持的是输出投影的额外压缩作用，而非独立证明所有头存在固定比例的子空间重叠。

### 4.2 低有效秩与死特征相关，但稀疏度和字典规模也重要

Fig. 5（PDF p. 6）对齐 LlamaScope 每层的 SAE 死特征与对应激活有效秩：注意力输出及最后两层 MLP 的低有效秩位置常有较多死特征。App. F 改变字典大小和 $L_0$ 后仍观察到类似趋势。

例如，字典为 32,768、$L_0=64$ 时，第 7 层注意力/残差的死特征比例为 **75.65% / 0.06%**，第 15 层为 **54.68% / 7.96%**，第 23 层为 **56.70% / 0.09%**。同为第 15 层注意力，$L_0=32,64,128$ 时，比例分别为 **79.86%、54.68%、25.61%**。（Tables 1–3，PDF pp. 18–19。）因此，几何是重要因素，字典容量和激活竞争强度也会改变死亡率。

### 4.3 初始化空间不能随便缩小，也不是越小越好

![活跃子空间维度扫描](figures/d_init.png)

原文 Fig. 6，PDF p. 6。横轴是 $d_{\rm init}$；三面板分别是死特征比例、Normalized MSE、$\Delta$ LM Loss，均越低越好。满空间 4096 附近有较多死特征，适度缩小子空间可改善三项指标；过小则使重建恶化。作者认为 256–2048 是较宽的可接受范围，统一采用 768。（App. J.3，PDF p. 22。）

![数据主子空间与随机子空间的对照](figures/d_init_svd_random.png)

原文 Fig. 12，PDF p. 21。随机子空间与 SVD 子空间在同一维度比较：随机方向通常使三项指标恶化，较低维度时尤其严重。这组消融支持“选择数据支持的方向”是有效成分。近满秩残差流实验的改善则很小（Fig. 13，PDF p. 22），说明 ASI 的收益与输入几何相适配。

### 4.4 固定字典的稀疏度—重建权衡

字典固定为 32,768，扫 $L_0=40,50,60,70,80$。Table 4 给出 3 个随机种子的均值与标准差。下表选 $L_0=50$：

| 方法 | 死特征数 ↓ | Normalized MSE ↓ | $\Delta$ LM Loss（$\times10^{-3}$）↓ |
| --- | ---: | ---: | ---: |
| TopK | $16144.33\pm129.52$ | $0.33367\pm0.00014$ | $8.375\pm0.029$ |
| AuxK | $54.67\pm5.51$ | $0.32241\pm0.00020$ | $7.958\pm0.032$ |
| ASI | $4.00\pm1.73$ | $0.31680\pm0.00006$ | $7.847\pm0.050$ |

来源：Fig. 7，PDF p. 7；Table 4，PDF p. 20。依据均值计算，ASI 相对 TopK 的 Normalized MSE 下降约 **5.06%**，相对 AuxK 下降约 **1.74%**。$\Delta$ LM Loss 相对 TopK 的增加量减少约 **6.30%**；其绝对差为 $0.000528$，不是语言模型总损失降低 6.30%。

ASI 的优势并非仅在 $L_0=50$：整个扫描范围内，它在 Table 4 的三项均值上都优于两条基线，但随着 $L_0$ 增大，标准 TopK 本身的死特征变少，重建差距也缩小。单独的 15 种子实验用单侧 Welch 检验：ASI 对 AuxK 的 Normalized MSE 和 $\Delta$ LM Loss 的 $p$ 值分别为 $6.33\times10^{-40}$ 和 $1.27\times10^{-6}$。（App. H、Table 5，PDF pp. 19–20。）统计显著性支持该设置下差异可重复，实际效应大小仍应看上表。

### 4.5 扩展到百万特征：初始化与优化器解决不同问题

![字典规模、死亡率和活特征效率](figures/scaling.png)

原文 Fig. 8，PDF p. 7，完整保留共享图例及三面板。左：总特征数与 Normalized MSE；中：总特征数与死特征比例；右：存活特征数与误差。横轴为规模，使用对数刻度；颜色区分 TopK、AuxK、ASI 及两种 SparseAdam 组合。

在 16K 到约 1M 的字典扫描中，ASI 的重建误差持续低于 TopK 和 AuxK。但中图表明，单用 ASI 的死亡率在百万规模仍约为一半；AuxK 能保持更多特征存活，却没有获得最低误差。右图据此支持作者的解释：**复活更多特征，不等于有效使用更多特征。**

组合 ASI + SparseAdam 后，百万规模死特征不足 1%，并取得最低重建误差。论文把优化器收益联系到陈旧动量（stale momentum）：稀疏特征不活跃期间，常规优化状态与间歇激活可能产生不良相互作用；SparseAdam 在有非零梯度的位置更新参数和矩。原文对动量“持续累积”的表述较概括，标准 Adam 在零梯度步骤仍会衰减既有矩并可能产生参数更新；稳妥理解是**稀疏激活下更新掩码与动量状态的处理不同**，而不是零梯度自动产生新梯度。（Sec. 5.3、App. M，PDF pp. 7–8、24–25；优化器更新规则参见 [PyTorch Adam](https://docs.pytorch.org/docs/stable/generated/torch.optim.Adam.html) 与 [SparseAdam](https://docs.pytorch.org/docs/stable/generated/torch.optim.SparseAdam.html) 官方说明。）

因此，摘要中的“87% 到不足 1%”应读成**标准 TopK 与 ASI + SparseAdam 的系统比较**，不是 ASI 单独的效果，也不是固定 32K 字典实验的结果。

### 4.6 跨层、模型和数据：重建优势更稳定

| 模型/数据/层 | 死特征：TopK / AuxK / ASI | Normalized MSE：TopK / AuxK / ASI |
| --- | --- | --- |
| Llama-3.1-8B / SlimPajama / 7 | 25836 / **98** / 5308 | 0.32870 / 0.29800 / **0.28882** |
| Llama-3.1-8B / SlimPajama / 23 | 15542 / 332 / **27** | 0.21302 / 0.20235 / **0.20141** |
| Qwen3-8B / fineweb-edu / 8 | 19048 / **4** / 7 | 0.31228 / 0.28849 / **0.28533** |
| Qwen3-8B / fineweb-edu / 26 | 16286 / **66** / 566 | 0.30090 / 0.28127 / **0.28087** |

来源：Tables 6–7，PDF p. 21，均为 attention output。ASI 在四组中的重建与 $\Delta$ LM Loss 均最低，但死特征数在三组中多于 AuxK。作者把第 7 层残留死亡归因于较低有效秩与统一 $d_{\rm init}$ 的不匹配，属于解释，未通过逐层最优维度扫描完全拆解。实际应用中更合理的顺序是先看目标层的谱和重建曲线，再选择子空间维度，而不是保证套用 768 就能消除死亡。

### 4.7 Lorsa、激活函数与训练早期的反例

**Lorsa**：固定 32,768 个稀疏头，ASI 方案比普通 TopK 和 AuxK 获得更好的死亡率—重建权衡，$\Delta$ LM Loss 也更低。（Fig. 9，PDF p. 8。）其协议与 SAE 不同：批大小 32,768、学习率 $2\times10^{-4}$、800M token、序列长 2048；256 个 QK 组、QK 维度 128，每头活跃子空间维度取原 MHSA 头维度。（App. O，PDF pp. 26–27。）

**JumpReLU**：如果训练从较低 $L_0$ 开始，ASI 有效；如果从很高的 $L_0$ 开始再逐步降到目标稀疏度，改善很小。采用高 $K$ 再退火的 TopK 也观察到 ASI 失效。（App. E.4、L，PDF pp. 18、24–25，Figs. 14–16。）这里 $L_0$ 大意味着每个样本激活更多特征，即更稠密。Figs. 14–15 还画有红色 Pre-Act Loss 对照，但正文未展开其定义；以上结论基于蓝色 Base 与绿色 ASI 曲线。

作者的解释是，高 $L_0$ 阶段使字典方向离开初始活跃子空间，抹去了初始化优势。他们建议先在 PCA 降维表示中训练，到目标 $L_0$ 后再把投影折入权重、回到原空间继续训练；这在文中是建议流程，没有提供与主实验同等完整的定量验证。

### 4.8 活特征增加后，语义质量和谱尾如何变化

App. N（PDF pp. 25–26）对两种 SAE 的特征做盲评，评分 1–5，5 表示模式清楚且无偏离样例。原文共抽样 100 个特征；Table 8 两组计数各 50。ASI 的评分分布从 5 到 1 为 **17、14、6、5、8**，TopK 为 **18、12、6、6、8**。作者报告未发现显著差异。按表内计数可计算均分为 3.54 与 3.52，仅说明这个小样本下语义一致性相近，不支持 ASI 提升单义性的结论。

对低活性方向构成的“死子空间”，作者比较存活特征的子空间对齐程度：对齐余弦在 $[0,0.05)$ 的特征数，TopK 为 10,176，ASI 为 24,576；两者均没有余弦达到 0.15 的特征（Table 9）。再把重建误差投影进去：TopK 的 MSE 为 **0.00350**，ASI 为 **0.00334**（Table 10）。这支持 ASI 在该实验中没有牺牲尾部方向重建。这里的“死子空间”是激活几何概念，和“从不激活的 SAE 特征”是不同对象。

## 五：结论——这项工作改变了什么

这篇论文最清楚的发现，是**模型的名义维度与某个激活位置实际被使用的几何结构可能相差很大**。将字典初始化对齐到数据支持的方向，能让固定参数预算更有效地服务重建；在大字典下，还需要处理稀疏优化状态。ASI 的吸引力在于不改动 SAE 主体结构，投影可以一次性折入权重。

最值得保留的三个具体边界是：

1. **谱低有效秩是经验趋势。** 主文的 60%/90% 不是所有配置的常数，子空间重叠的直觉也没有推导出这一比例。
2. **最佳死亡率与最佳重建不总在同一方法上。** 百万特征低死亡率需要组合 SparseAdam，跨层时 AuxK 可能有更多活特征，ASI 仍可能重建更好。
3. **初始化能否持续生效取决于训练路径。** 近满秩激活收益小，高 $L_0$ 起步/退火可能使收益消失；语义一致性证据也仅来自 100 个特征的盲评。

如果要把论文用于自己的 SAE 工作，优先测目标位置的奇异谱，使用数据主方向而非随机子空间，在若干 $d_{\rm init}$ 下同时比较死亡率、重建与下游损失；扩大字典时再评估 SparseAdam。进一步的研究问题是把子空间维度选择与特征竞争动力学联系起来，而不是仅按一个有效秩数字机械截断。