# On State Reduction in Linear Attention：中文研读笔记

**作者**：Philipp Nazari、T. Konstantin Rusch  
**版本**：[arXiv:2602.04852v3](https://arxiv.org/abs/2602.04852v3)，2026-09-29 修订  
**研读与获取日期**：2026-10-13  
**材料**：[原文 PDF](../source/paper.pdf) · [作者 TeX](../source/tex/files/main.tex) · [作者代码仓库](https://github.com/camail-official/LinearAttentionPruning)  
**配套**：[英文汇报 PDF](slides.en.pdf) · [可编辑 TeX](slides.en.tex)  
下文页码均为从 1 开始的 PDF 页码，与本版本印刷页码一致。

## 论文总览

线性注意力把历史压缩进固定大小的矩阵状态，但预训练后的状态往往具有很不均匀的奇异值谱。本文把这一现象转化为一个部署问题：**能否在预训练后，删除一部分 key/query 通道，直接缩小递归状态，并继续使用现有快速内核？**

作者先把状态的稳定秩、key 的条件数和最坏情况下的读出噪声放大联系起来，再提出按每个 head 联合裁剪 key/query 的框架。核心选择器 DRRQR（Deep Rank Revealing QR）用强秩揭示 QR，从联合 key/query 激活中挑选一组保留主要方向、数值条件较好的原始通道。它不需要任务损失梯度，也避免了稠密旋转与逐通道卷积之间的冲突。

最值得记住的是三个结果：

- **状态减半具有实用性，但恢复微调与任务类型影响结论。** Gated DeltaNet 1.3B 经 DRRQR 裁剪 50% 并恢复微调后，WikiText-2 困惑度为 16.3，原模型为 16.8；六项零样本平均准确率为 58.0%，原模型为 59.4%。
- **语言建模质量不能代替记忆检索质量。** 同一个纯递归模型在 4K NIAH 上从 81.3 降到 61.9；混合模型 Qwen3.5 9B 在仅裁剪递归层并微调这些组件后，4K NIAH 仍为 100.0。
- **真正缩小状态能带来端到端收益。** H100 上，Gated DeltaNet 1.3B 的状态减半在 batch 64 解码时达到 1.47× 加速；batch 1 时为 1.03×。预填充通常约 1.14–1.16×，取决于 batch 和上下文长度。

来源：Sec. 5，Tables 1、4，pp. 8–9；Tables 17–20，pp. 28–29。

## 结构地图

| 原文章节 | 在论证中的作用 | PDF 定位 |
| --- | --- | --- |
| 1 Introduction | 从低秩状态引出预训练后压缩 | pp. 1–2，Fig. 1 |
| 2 Theoretical Insights | 递推、秩利用率、噪声敏感性 | pp. 2–5，Eqs. (1)–(7)，Fig. 2 |
| 3 The Proposed Pruning Framework | 正交不变性、卷积约束、通道选择器 | pp. 5–7，Prop. 3.1 |
| 4 Related Work | 区分状态压缩、权重剪枝与量化 | pp. 7–8，Fig. 3 |
| 5 Experiments | 语言建模、跨域校准、规模、检索与速度 | pp. 8–9，Tables 1–4，Fig. 4 |
| 6 Discussion | 状态冗余与混合架构的分工假说 | p. 9 |
| A Experimental Details | 预训练、LoRA 恢复、蒸馏和校准协议 | p. 14 |
| B Additional Material | DeltaNet 流程、DRRQR、旋转与卷积 | pp. 14–18，Algorithms 1–2 |
| C Additional Experimental Results | 逐 head 分析、跨域、Mamba、检索、PCA、联合选择 | pp. 18–23，Tables 5–16，Figs. 5–6 |
| D The Effective Rank；E Dynamical Systems Perspective | 稳定秩性质、梯度流解释 | pp. 23–24 |
| F Proofs | 秩下界、子空间包含、读出与梯度条件数证明 | pp. 25–27 |
| G Extended Results；H More Plots | 完整速度与语言评测、卷积滤波器图 | pp. 27–35，Tables 17–24，Figs. 7–8 |

## 一：动机——固定状态也可能浪费容量

### 1.1 参数稀疏不一定节省递归状态

每个 head 的状态为 $\mathbf S_t\in\mathbb R^{d_v\times d_k}$，其中 $d_k$ 是 key/query 维度，$d_v$ 是 value 维度。若只把投影权重中的部分元素置零，key 仍有 $d_k$ 个坐标，状态仍需存放 $d_vd_k$ 个元素。本文直接删掉投影矩阵的整列，使状态变为 $d_v\times d_k'$。

![图 1：非结构化稀疏与真正缩小状态的结构化剪枝](figures/fig-01-structured.png)

来源：Fig. 1，p. 2。左侧的零权重没有缩小 key 的维度；右侧删除整条特征通道，状态列数才随之减少。

因此，论文中的“50% 压缩”指**被剪层的递归矩阵状态元素减少 50%**，在 $d_v$ 不变时等价于 $d_k'=d_k/2$。它不代表模型总参数、整个推理进程的显存或混合模型全部缓存也减少 50%。权重低秩分解、残差流裁剪和状态通道裁剪作用的位置不同，可以分别讨论。

### 1.2 低秩为什么提示压缩机会

如果状态的绝大部分谱能量只占少数方向，那么名义维度很大，并不意味着每个方向都在有效承载信息。本文用稳定秩量化这一现象，并研究删除弱通道后是否能保住实际任务能力。

这里有一个必要区分：观察某个时刻的低秩状态，还不足以给出一组跨输入、跨时间都可删除的坐标。作者通过校准数据选出**固定的逐 head 通道集合**，再用下游评测检验这种可部署的压缩。理论给出选择依据，质量收益来自实证验证。

## 二：方法——从秩分析到可部署的通道选择

### 2.1 先看递归记忆的写入和读出

| 符号 | 维度与意义 |
| --- | --- |
| $\mathbf X$ | $T\times h$，输入隐藏表示 |
| $\mathbf W_Q,\mathbf W_K$ | $h\times d_k$，每个 head 的 query/key 投影 |
| $\mathbf q_t,\mathbf k_t$ | $d_k$，读出地址与写入地址 |
| $\mathbf v_t,\mathbf o_t$ | $d_v$，写入目标与输出 |
| $\mathbf S_t$ | $d_v\times d_k$，矩阵记忆 |
| $\beta_t$ | 标量，Delta 更新强度 |
| $\mathbf P_{\mathcal I}$ | $d_k'\times d_k$，保留坐标的选择矩阵 |

最简单的未归一化线性注意力为

$$
\mathbf S_t=\mathbf S_{t-1}+\mathbf v_t\mathbf k_t^\top,
\qquad
\mathbf o_t=\mathbf S_t\mathbf q_t,
\qquad \mathbf S_0=0.
$$

它将历史外积直接相加。DeltaNet 用当前 key 查出旧预测，把预测误差写回：

$$
\begin{aligned}
\mathbf S_t
&=\mathbf S_{t-1}(\mathbf I-\beta_t\mathbf k_t\mathbf k_t^\top)
  +\beta_t\mathbf v_t\mathbf k_t^\top\\
&=\mathbf S_{t-1}
  +\beta_t(\mathbf v_t-\mathbf S_{t-1}\mathbf k_t)\mathbf k_t^\top.
\end{aligned}
$$

因此，key 既控制写入方向，也控制擦除哪些旧信息；query 决定哪些方向能被读出。Gated DeltaNet 进一步加入输入相关的衰减。来源：Sec. 2.1，Eqs. (1)–(2)，pp. 2–3。

附录给出在线回归解释：对当前样本损失

$$
\ell_t(\mathbf S)=\tfrac12\|\mathbf v_t-\mathbf S\mathbf k_t\|_2^2
$$

做步长为 $\beta_t$ 的梯度下降，就得到 DeltaNet。选择 key 特征也就等于缩小在线回归器的输入空间，约束快权重能够使用的假设类。连续时间梯度流的前向 Euler 离散化给出同一更新。来源：App. B.1，p. 15；App. E，p. 24。

### 2.2 代数秩、稳定秩和秩利用率各回答什么

对论文讨论的标量门控加 rank-one 更新这一类递推，状态的行空间由历史 keys 张成，列空间由历史 values 张成。因此，记
$\mathbf K_t=[\mathbf k_1,\ldots,\mathbf k_t]\in\mathbb R^{d_k\times t}$、
$\mathbf V_t=[\mathbf v_1,\ldots,\mathbf v_t]\in\mathbb R^{d_v\times t}$，有

$$
\operatorname{rank}(\mathbf S_t)
\le \min\{\operatorname{rank}(\mathbf K_t),
           \operatorname{rank}(\mathbf V_t)\}\le t.
$$

归纳证明的关键是把更新写成
$\alpha_t\mathbf S_{t-1}+\mathbf u_t\mathbf k_t^\top$：新行方向最多增加当前 key；而右乘转移矩阵不会在列空间中凭空创造超出已有 values 的方向。来源：Eq. (3)，p. 3；App. F.2，pp. 25–26。

代数秩会把极小但非零的奇异值也计入，因而对非零状态，作者采用

$$
\operatorname{er}(\mathbf S)
=\frac{\|\mathbf S\|_F^2}{\|\mathbf S\|_2^2}
=\frac{\sum_i\sigma_i^2}{\sigma_1^2},
\qquad
u(\mathbf S)=\frac{\operatorname{er}(\mathbf S)}{d},
\quad d=\min(d_v,d_k).
$$

本文的 effective rank 明确指这个**稳定秩（stable rank）**，不是另一种基于奇异值熵的定义。它不要求整数，且满足
$1\le\operatorname{er}(\mathbf S)\le\operatorname{rank}(\mathbf S)\le d$。
$u$ 则衡量相对当前维度上限的谱利用程度：$u=1$ 时所有 $d$ 个奇异值相等；$u$ 很小时，能量集中于少数方向。来源：Sec. 2.2–2.2.1，Eq. (5)，pp. 3–4；App. D，pp. 23–24。

![图 2：原始与 DRRQR 压缩后的状态奇异值分布](figures/fig-02-spectrum.png)

来源：Fig. 2，p. 3。横轴为奇异值 $\sigma$，纵轴为计数，均使用对数刻度；统计 DeltaNet 370M 的一个 head，在 FineWeb 长度 2048 的序列上跳过前 128 个 token。右图是 75% 压缩、恢复微调之前，极小奇异值的长尾显著缩短。两边矩阵维度不同，不能把柱高变化直接读作信息量增加。

### 2.3 key 条件数为何进入状态稳定秩下界

对加性记忆 $\mathbf S=\mathbf V\mathbf K^\top$，附录先假设 $\mathbf K\in\mathbb R^{d_k\times T}$ 满行秩，再把 values 按照 key 的行空间投影：

$$
\mathbf V=\mathbf V_\parallel+\mathbf V_\perp,\qquad
\mathbf V_\perp\mathbf K^\top=0.
$$

若 $\mathbf V_\parallel\ne0$，定义
$\nu(\mathbf V)=\operatorname{er}(\mathbf V_\parallel)$。于是

$$
\begin{aligned}
\|\mathbf S\|_F^2
&\ge\|\mathbf V_\parallel\|_F^2\sigma_{\min}(\mathbf K)^2,\\
\|\mathbf S\|_2^2
&\le\|\mathbf V_\parallel\|_2^2\sigma_{\max}(\mathbf K)^2,\\
\operatorname{er}(\mathbf S)
&\ge\frac{\nu(\mathbf V)}{\kappa(\mathbf K)^2},
\qquad
\kappa(\mathbf K)=\frac{\sigma_{\max}(\mathbf K)}{\sigma_{\min}(\mathbf K)}.
\end{aligned}
$$

直觉是：若 keys 在某些方向上几乎退化，即使 values 有多个有效方向，写入过程也可能把谱能量压得很不均匀。对 DeltaNet，令
$\mathbf u_t=\beta_t(\mathbf v_t-\mathbf S_{t-1}\mathbf k_t)$，
就能把更新重新写成外积累加，用伪 values 的历史矩阵 $\mathbf U$ 代替 $\mathbf V$。

**解读这个界时应保留两个条件。** 第一，$\nu(\mathbf V)$ 虽只写了 $\mathbf V$，实际上还依赖 $\mathbf K$ 的行空间；换一组通道会改变投影，DeltaNet 的伪 values 也可能改变。第二，这是给定条件下的下界，不能据此宣称“降低 key 条件数必然提高真实状态秩”。DRRQR 实际约束的是联合 key/query 激活，和直接优化 $\mathbf S_t$ 仍隔着动态更新。来源：Eq. (4)，p. 3；App. F.1，p. 25。

### 2.4 低利用率与最坏读出敏感性

设理想 query 为单位向量 $\mathbf q^*$，受到扰动后为
$\widetilde{\mathbf q}=\mathbf q^*+\boldsymbol\varepsilon$。定义相对误差放大率

$$
R(\mathbf q^*,\boldsymbol\varepsilon)
=
\frac{\|\mathbf S\boldsymbol\varepsilon\|_2/\|\mathbf S\mathbf q^*\|_2}
     {\|\boldsymbol\varepsilon\|_2/\|\mathbf q^*\|_2}.
$$

在 $\mathbf S$ **满列秩**、因而 $d_v\ge d_k$ 的假设下，Prop. 2.1 给出

$$
\max_{\|\mathbf q^*\|_2=1,\;\boldsymbol\varepsilon\ne0}
R(\mathbf q^*,\boldsymbol\varepsilon)
=\kappa(\mathbf S)
\ge\frac{1}{\sqrt{u(\mathbf S)}}.
$$

证明的几何图像很清楚：噪声沿最大奇异值方向，理想 query 沿最小奇异值方向，就得到 $\sigma_1/\sigma_{d_k}$。又因为
$u(\mathbf S)=d_k^{-1}\sum_i\sigma_i^2/\sigma_1^2\ge1/\kappa(\mathbf S)^2$，得到上述下界。低利用率意味着存在容易放大相对噪声的读出方向；特定 query 是否受影响，取决于其与谱方向的对齐。它没有给出平均噪声分布上的预期误差。来源：Eqs. (6)–(7)，p. 4；App. F.3，pp. 26–27。

教学例子：$\mathbf S=\operatorname{diag}(1,0.01)$ 时，
$\operatorname{er}=1.0001$、$u=0.50005$，但 $\kappa=100$。
取 $\mathbf q^*=(0,1)^\top$、$\boldsymbol\varepsilon=(\delta,0)^\top$，
输出相对扰动是 $100|\delta|$。这也说明 $1/\sqrt u$ 只是下界，不能用它估计实际最坏放大的精确大小。

App. F.4 还固定状态与输入、只考虑线性 query 映射，
得到 $\mathbf J=\mathbf S\otimes\mathbf x^\top$，其非零奇异值为
$\|\mathbf x\|_2\sigma_i(\mathbf S)$。因此局部 query 权重反传也继承同样的谱条件数；结论针对局部线性读出，尚未涵盖整层非线性与状态路径。

### 2.5 正交变换精确等价，降维选择则需要容忍误差

DeltaNet 每个 value 通道可以视为一个共享转移矩阵的线性时变系统：

$$
\mathbf h_t^{(i)}
=(\mathbf I-\beta_t\mathbf k_t\mathbf k_t^\top)\mathbf h_{t-1}^{(i)}
 +\beta_t\mathbf k_t v_{t,i}.
$$

一般可逆换基不改变输入输出映射，但会把转移矩阵变成左右方向不同的形式。若取正交矩阵 $\mathbf T\in O(d_k)$，同时令

$$
\mathbf k_t'=\mathbf T\mathbf k_t,\quad
\mathbf q_t'=\mathbf T\mathbf q_t,\quad
\mathbf S_t'=\mathbf S_t\mathbf T^\top,
$$

则 Delta 更新形式保持不变，且
$\mathbf S_t'\mathbf q_t'=\mathbf S_t\mathbf q_t$。标量衰减不破坏这个性质，所以也适用于 Gated DeltaNet 的 sequence mixer。来源：Sec. 3.1，Eq. (8)、Prop. 3.1，p. 5。

真正压缩用的是矩形半正交矩阵
$\mathbf T\in\mathbb R^{d_k'\times d_k}$，满足 $\mathbf T\mathbf T^\top=\mathbf I_{d_k'}$，
但 $\mathbf T^\top\mathbf T$ 不再是恒等阵。于是完整维度下的换基不变性不能直接推出降维后的输出等价。目标是选择损失可接受的子空间，并通过恢复微调适应它。

### 2.6 为什么选通道，而不直接用 PCA

PCA 能选择高方差子空间，却需要混合原始通道。实际 DeltaNet 层在投影后还包含逐通道因果卷积、SiLU 和归一化。对每个卷积延迟 $j$，滤波器可写成对角矩阵
$\mathbf D^{(j)}=\operatorname{diag}(\mathbf w^{(j)})$。稠密旋转会产生
$\mathbf T\mathbf D^{(j)}\mathbf T^\top$，一般是稠密矩阵，无法继续用原来的 depthwise 卷积。

作者因此限制为坐标选择：

$$
\mathbf P_{\mathcal I}
=[\mathbf e_{i_1},\ldots,\mathbf e_{i_{d_k'}}]^\top.
$$

得到索引集合 $\mathcal I$ 后，对每个 head 同时：

1. 保留 $\mathbf W_K$ 和 $\mathbf W_Q$ 的对应列；
2. 保留 key/query 卷积滤波器的对应通道；
3. 用新维度 $d_k'$ 执行原形式的递推和读出。

value 维度与每个 head 的输出维度保持原大小，所以不用把这次裁剪传播成残差流宽度压缩。选择还与逐点 SiLU 相容。归一化会在保留的坐标上重新计算，因此压缩后的动态仍需实证评估。来源：Sec. 3.2–3.3，pp. 5–6；Algorithm 1，p. 14。

附录研究了两个旋转补救方案：最近的对角滤波器为
$\mathbf W'=(\mathbf T\odot\mathbf T)\mathbf W$；或者预训练时在 head 内共享卷积，使卷积与旋转交换。前者只对滤波器的 Frobenius 近似误差最优；后者只解决卷积，SiLU 仍不与一般稠密旋转交换。来源：App. B.3–B.5，pp. 17–18。

### 2.7 四种选择器如何计算

所有方法最终都为每个 head 生成一个保留集合，并同时作用于 key/query。它们的区别在于如何给候选坐标估计重要性。

**L1：联合投影权重幅值。**

$$
s_j=\|\mathbf W_{Q,:j}\|_1+\|\mathbf W_{K,:j}\|_1.
$$

**S-Wanda：再乘输入激活大小。**

$$
s_j=\sum_{i=1}^{h}
(|W_{Q,ij}|+|W_{K,ij}|)\|\mathbf X_{:i}\|_2.
$$

**Grad：用任务损失的一阶敏感度。**

$$
s_j=\sum_i\left(
\left|W_{Q,ij}\frac{\partial\mathcal L}{\partial W_{Q,ij}}\right|
+
\left|W_{K,ij}\frac{\partial\mathcal L}{\partial W_{K,ij}}\right|
\right).
$$

前三种按分数保留每个 head 的 top-$d_k'$。L1 不需要校准，S-Wanda 需要前向激活，Grad 还需要完整模型损失的反向梯度，因此它是本文唯一直接感知当前任务目标的选择器。Rand 则随机选择通道，作为最简单的对照。来源：Sec. 3.4，pp. 6–7。

### 2.8 DRRQR：让保留列组成较好的数值基

在校准阶段，按样本作为行收集
$\mathbf K_{\rm cal},\mathbf Q_{\rm cal}\in\mathbb R^{N\times d_k}$，
并沿样本轴拼接

$$
\mathbf M=[\mathbf K_{\rm cal};\mathbf Q_{\rm cal}]
\in\mathbb R^{2N\times d_k}.
$$

这与理论部分“历史向量按列堆叠”的 $\mathbf K_t$ 方向不同。每一列始终对应一个可实际删除的通道；DRRQR 选择原始列，不把 QR 的正交基变成部署时的旋转层。

令目标维度 $k=d_k'$、原维度 $n=d_k$，带列主元 QR 给出初始置换：

$$
\mathbf M\mathbf\Pi
=\mathbf Q_{\rm QR}
\begin{pmatrix}
\mathbf A_k&\mathbf B_k\\
0&\mathbf C_k
\end{pmatrix}.
$$

随后计算

$$
\mathbf U=\mathbf A_k^{-1}\mathbf B_k,\quad
\omega_i=\frac1{\|(\mathbf A_k^{-1})_{i,:}\|_2},\quad
\gamma_j=\|(\mathbf C_k)_{:,j}\|_2,
$$

$$
\rho_{ij}=\sqrt{|U_{ij}|^2+(\gamma_j/\omega_i)^2}.
$$

若最大 $\rho_{ij}>f$，交换一个已选列和一个候选列，重新三角化；当所有 $\rho_{ij}\le f$ 时停止，输出置换中的前 $k$ 个原始通道。几何上，这是逐步增大已选列张成的平行多面体体积，避免选出近乎重复的方向。

当 $\operatorname{rank}(\mathbf M)\ge k$、容忍参数 $f\ge1$ 且满足强 RRQR 停止条件时，记
$c_f=\sqrt{1+f^2k(n-k)}$，有

$$
\sigma_i(\mathbf A_k)\ge\frac{\sigma_i(\mathbf M)}{c_f},
\quad
\|\mathbf C_k\|_2\le c_f\sigma_{k+1}(\mathbf M),
\quad
\kappa(\mathbf A_k)\le
c_f\frac{\sigma_1(\mathbf M)}{\sigma_k(\mathbf M)}.
$$

已选列与 $\mathbf A_k$ 具有相同的非零奇异值。这些是**校准联合激活矩阵的列选择保证**；其用途是防止保留基过于退化，不是语言模型困惑度的上界，也没有证明所选 key 子矩阵必然满足同样的最优性。

来源：Sec. 3.4，pp. 6–7；Algorithm 2，p. 15；App. B.2，pp. 15–16。

## 三：实验——分别测选择质量、恢复能力与实际效率

### 3.1 模型与恢复协议

| 对象 | 设置及比较目的 |
| --- | --- |
| DeltaNet / Gated DeltaNet 370M | 作者用 FineWeb 10B token 预训练，检验小模型的剪枝与恢复 |
| DeltaNet / Gated DeltaNet 1.3B | 使用现成预训练模型，检验更大递归模型 |
| Mamba-2 370M / Mamba-Codestral 7B | 把状态空间中的 B、C 对应到 key、query；结果均为恢复微调前 |
| Qwen3.5 9B Base | 混合架构，仅裁剪 Gated DeltaNet 层；恢复阶段只更新递归组件，exact-attention 层冻结 |

默认校准集含 128 条 FineWeb 样本；校准消融使用长度 2048 的序列。DRRQR 从激活中分别随机抽取约 2500 个 key 和 query。恢复微调（Recovery Fine-Tuning，RFT）使用：

- FineWeb 32k 条样本，序列长度 2048，batch size 16；
- LoRA rank 32、$\alpha=64$；
- 学习率在 5% warmup 后由 $10^{-4}$ 衰减到 $10^{-5}$；
- 额外解冻因果卷积与归一化层；
- 以原模型为教师进行知识蒸馏。

“pre-RFT”衡量直接通道选择后的质量，“post-RFT”则包括恢复训练的贡献。部分 post-RFT 指标优于原模型，但这里没有等预算继续训练的未剪枝对照，因此不能单独归因于剪枝带来的正则化。来源：App. A，p. 14。

### 3.2 指标怎么读

**语言建模**：WikiText-2 和 LAMBADA perplexity（PPL）越低越好。零样本平均分由 ARC-Easy、ARC-Challenge、HellaSwag、WinoGrande、PIQA、LAMBADA 六项准确率等权平均；ARC-E、ARC-C、HellaSwag 和 PIQA 用 acc_norm，WinoGrande 与 LAMBADA 用 acc。这里 LAMBADA 既有 PPL 又有准确率，不能混为同一列。

**记忆与检索**：RULER 综合分、NIAH 单针检索，以及 SQuAD-/SWDE-completion 分数均越高越好。纯递归模型在 2K 训练长度下评测 2K 与 4K；本文的“长上下文”证据应按这些实际长度理解。

**效率**：H100-SXM、CUDA graph、相同未修改的 flash-linear-attention 内核；每配置 10 次预热、100 次测量，报告三次独立试验的中位数。decode 固定 prompt length 512，prefill 改变 batch 和序列长度。speedup 为同配置 baseline 耗时除以剪枝后耗时，大于 1 表示更快。来源：App. C.3–C.4，pp. 19–20；App. G，pp. 27–33。

## 四：结果——冗余是真实的，损失也依赖具体能力

### 4.1 状态减半后，哪些质量指标能保住

下表摘取 Table 20 中 DRRQR 的 50% 压缩结果。箭头依次表示原模型、pre-RFT、post-RFT；平均准确率单位为 %。

| 模型 | WikiText-2 PPL ↓ | LAMBADA PPL ↓ | 六项平均准确率 ↑ |
| --- | --- | --- | --- |
| DeltaNet 370M | 29.8 → 31.4 → 29.4 | 37.0 → 36.0 → 36.6 | 44.2 → 44.7 → 44.5 |
| DeltaNet 1.3B | 16.7 → 20.5 → 17.5 | 11.9 → 47.2 → 11.8 | 50.0 → 45.7 → 49.7 |
| Gated DeltaNet 370M | 28.8 → 31.6 → 28.7 | 35.9 → 39.4 → 40.6 | 44.4 → 44.0 → 43.8 |
| Gated DeltaNet 1.3B | 16.8 → 17.3 → 16.3 | 9.7 → 14.2 → 12.0 | 59.4 → 57.5 → 58.0 |

来源：App. G.2，Table 20，p. 29；分任务结果在 Tables 21–24，pp. 30–33。

这组结果支持“当前语言建模任务并没有充分用满状态维度”，但恢复训练的作用在不同模型上很不一样。DeltaNet 1.3B 的 DRRQR 直接剪枝令 LAMBADA PPL 从 11.9 升到 47.2，恢复后才回到 11.8。相反，DeltaNet 370M 的直接剪枝已保持了平均准确率。

简单幅值剪枝在部分模型上失效：DeltaNet 370M 状态减半后，L1 的 WikiText-2 PPL 为 3843.5，S-Wanda 为 915.9，DRRQR 为 31.4。即使相同的参数维度被删除，选哪些通道仍决定模型是否可用。

进一步看 Gated DeltaNet 1.3B 的 post-RFT 结果：

| 删除比例 | 选择器 | WikiText-2 PPL ↓ | LAMBADA PPL ↓ | 平均准确率 % ↑ |
| --- | --- | --- | --- | --- |
| 0% | Baseline | 16.8 | 9.7 | 59.4 |
| 30% | DRRQR | 15.9 | 10.7 | 58.8 |
| 30% | Grad | 15.9 | 9.9 | 59.0 |
| 50% | DRRQR | 16.3 | 12.0 | 58.0 |
| 50% | Grad | 16.4 | 10.5 | 58.3 |
| 75% | DRRQR | 17.9 | 14.7 | 56.2 |
| 75% | Grad | 17.8 | 12.5 | 56.8 |

来源：Table 1，p. 8。50% 下 DRRQR 的 WikiText-2 PPL 更低，但 Grad 的 LAMBADA 和平均准确率更好；不存在一个方法在所有指标上统治另一个。75% 压缩的代价进一步上升。把“最多可删多少”表达成质量—容量曲线，比给所有任务统一的比例更合适。

### 4.2 秩利用率提升，是否只是分母变小

![图 3：不同方法的状态秩利用率随 token 的变化](figures/fig-03-utilization.png)

来源：Fig. 3，p. 7。横轴为 token 位置，纵轴为跨层、跨 head 平均的秩利用率。除未压缩 baseline 外，所有方法都使用相同的 75% 压缩后维度。Grad 与 DRRQR 在这个样本上最高，因而它们之间及与其他剪枝法之间的比较不受状态维度不同的干扰。

Table 5 给出逐 head 统计：baseline 的平均 $u$ 为 0.053，DRRQR 为 0.170，L1 为 0.124；DRRQR 与 baseline 的逐 head 利用率 Pearson 相关系数为 0.96，L1 为 0.68。这说明不同 heads 原本的容量利用存在异质性，DRRQR 较一致地保留了这种相对结构。来源：App. C.1，p. 18。

**本次分析**：该实验中 $d$ 从 128 降为 32，利用率提高包含明显的分母效应。按表内四舍五入的均值折算，平均稳定秩约从 $128\times0.053=6.78$ 变为 $32\times0.170=5.44$。因此准确的解读是“用四分之一容量保留了较大部分有效维度”，而不是“压缩创造了更多绝对记忆容量”。

App. C.5 的 Fig. 5（p. 21）比较更多选择器，Fig. 6（p. 22）比较恢复前后：压缩通常缩短谱尾，有些 head 出现谱间隙，恢复训练还会进一步改变谱结构。该现象提示动态重组，但论文尚未建立它与特定检索能力变化之间的因果联系。

### 4.3 条件数更小，未必代表选择更好

下表是 DeltaNet 370M、75% 压缩时，保留的联合 key/query 激活列的逐 head 统计中位数。

| 选择器 | $\sigma_{\min}$ | $\sigma_{\max}$ | $\kappa$ |
| --- | --- | --- | --- |
| Baseline，128 维 | 0.10 | 49.4 | 529 |
| DRRQR，32 维 | 0.96 | 49.4 | 65 |
| Grad，32 维 | 0.62 | 48.5 | 89 |
| S-Wanda，32 维 | 0.65 | 22.5 | 42 |
| L1，32 维 | 0.64 | 15.3 | 32 |
| Rand，32 维 | 0.16 | 13.3 | 116 |

来源：Table 6，p. 18。条件数一列是“每个 head 的比值”的中位数，不等于左右两列中位数相除。

DRRQR 在保留主要谱方向的同时提高了最小奇异值；L1 的条件数虽然最低，却把最大奇异值也大幅削弱了。因而本文的经验并非单纯“最小化条件数”，还需要保住对任务有用的强方向。DRRQR 与 Grad 每个 head 保留的 32 个通道中，中位重叠数为 26，随机选择的重叠为 8，说明两种准则捕捉到了相近的通道集合。

### 4.4 DRRQR 的突出优势是校准分布稳健性

固定 DeltaNet 370M、75% 压缩、pre-RFT，改变校准语料但始终在 WikiText-2 上评测：

| 校准语料，128 × 2048 token | DRRQR PPL ↓ | Grad PPL ↓ |
| --- | --- | --- |
| FineWeb | 41.6 | 44.9 |
| PG19 | 41.5 | 53.8 |
| Pile | 41.7 | 51.0 |

来源：Table 2，p. 8；完整校准消融见 Table 7，p. 19。

FineWeb 样本数从 8 增至 512，DRRQR 的 PPL 仅在 41.6–41.7 间变化；换 seed 后为 41.5–41.6。Grad 在同域也相对稳定，但换语料后的损失更大。作者解释为：Grad 的重要性分数依赖校准损失，而 DRRQR 更依赖激活子空间结构。

数值使用上须区分实验：Table 21（p. 30）的常规 75% pre-RFT 结果给出 DRRQR 42.0、Grad 46.7，与专门校准消融的 41.6、44.9 不完全一致；原文没有说明这组差异的具体来源。因此这里分别引用，不把它们当成同一次实验。

### 4.5 扩展到 Mamba-2：有效，但 Grad 在 7B 更强

Mamba-2 的 $\mathbf B,\mathbf C$ 分别扮演写入与读出地址的角色，因而也可以做耦合状态维度选择。所有下表结果均未做 RFT。

| 模型与压缩比例 | 方法 | WikiText-2 PPL ↓ | 平均准确率 % ↑ |
| --- | --- | --- | --- |
| Mamba-2 370M，0% | Baseline | 29.2 | 44.5 |
| Mamba-2 370M，50% | Grad | 34.1 | 42.5 |
| Mamba-2 370M，50% | DRRQR | 35.6 | 41.0 |
| Mamba-Codestral 7B，0% | Baseline | 14.5 | 64.4 |
| Mamba-Codestral 7B，50% | Grad | 16.7 | 59.9 |
| Mamba-Codestral 7B，50% | DRRQR | 17.6 | 57.1 |
| Mamba-Codestral 7B，50% | L1 | 25.7 | 48.8 |
| Mamba-Codestral 7B，75% | Grad | 22.4 | 52.4 |
| Mamba-Codestral 7B，75% | DRRQR | 26.7 | 48.8 |

来源：App. C.3，Tables 8–10，pp. 19–20；主文 Table 3，p. 8。

这证明框架可延伸到另一类递归架构，但并非规模越大越接近无损。7B 在减半状态时，DRRQR 平均准确率下降 7.3 个百分点，Grad 下降 4.5 个百分点；LAMBADA PPL 则分别由 6.7 升到 28.7 和 12.7。DRRQR 更稳健的校准表现与 Grad 在某些同域任务上的优势，需要同时保留。

### 4.6 长程召回是压缩真正暴露出的代价

Gated DeltaNet 1.3B 的恢复后结果：

| 方案 | RULER 4K ↑ | NIAH 4K ↑ | SQuAD ↑ | SWDE ↑ |
| --- | --- | --- | --- | --- |
| Baseline | 38.8 | 81.3 | 40.5 | 51.2 |
| DRRQR 20% | 35.4 | 75.9 | 39.9 | 45.5 |
| DRRQR 30% | 32.6 | 72.5 | 39.3 | 43.8 |
| DRRQR 50% | 27.5 | 61.9 | 36.4 | 37.0 |
| Grad 50% | 28.1 | 65.7 | 37.2 | 37.7 |

来源：Table 11，p. 20。状态减半时 DRRQR 的 RULER 下降 11.3 分、NIAH 下降 19.4 分，SWDE 也下降 14.2 分。即使 20–30% 压缩，某些完成任务的代价也已经可见。

混合模型 Qwen3.5 9B 的结论明显不同：

| 方案 | RULER 2K ↑ | RULER 4K ↑ | NIAH 4K ↑ | SQuAD ↑ | SWDE ↑ |
| --- | --- | --- | --- | --- | --- |
| Baseline | 94.7 | 93.9 | 100.0 | 65.3 | 92.7 |
| DRRQR 50%，仅递归组件 RFT | 94.3 | 93.6 | 100.0 | 66.0 | 92.3 |

来源：Table 12，p. 20；主文 Table 4，p. 9。

这里保持不变的 softmax attention 路径很可能承担了关键的长程记忆；这是作者提出、由结果支持的分工假说。不过两个模型规模和架构不同，实验并未通过关闭混合模型的 attention 层来隔离这一机制。

在恢复前，Qwen3.5 9B 的 DRRQR 50% 仍有选择优势：平均准确率 73.3% → 71.4%，而 L1 50% 为 50.9%；对应 WikiText-2 PPL 为 baseline 9.0、DRRQR 11.6、L1 38.0。来源：Table 13，p. 21。

### 4.7 端到端收益依赖 batch，且不等于状态缩小比例

![图 4：Gated DeltaNet 1.3B 的端到端解码和预填充加速](figures/fig-04-speedup.png)

来源：Fig. 4，p. 9。两个面板横轴都是 batch size，纵轴为相对原模型的速度倍数；青色为 50% 状态压缩，洋红色为 75%。左图 decode 使用 512-token prompt；右图 prefill 的虚线/点线区分 8K/2K 上下文。

完整 decode 表中的关键配置：

| 模型 | Batch | Baseline，ms/token | 状态减半加速 | 删除 75% 加速 |
| --- | --- | --- | --- | --- |
| Gated DeltaNet 1.3B | 1 | 2.72 | 1.03× | 1.05× |
| Gated DeltaNet 1.3B | 16 | 4.96 | 1.25× | 1.45× |
| Gated DeltaNet 1.3B | 64 | 11.61 | 1.47× | 1.94× |
| DeltaNet 1.3B | 1 | 2.22 | 1.03× | 1.04× |
| DeltaNet 1.3B | 64 | 8.68 | 1.41× | 1.78× |

来源：Table 17，p. 28。1.47× 表示同配置速度提高 47%；按表内值换算，耗时约为 $11.61/1.47=7.90$ ms/token，降低约 32%，不能写成耗时降低 47%。

对 prefill，Gated DeltaNet 1.3B 在 50% 压缩、2K、batch 1–2 时只有 1.00×，batch ≥4 时约 1.14–1.16×；8K/16K 大多也在这个区间。Table 18 中缺失的配置是原 chunked kernel 超过显存容量，不能把空格理解成零收益。

Table 19 另外隔离了 sequence mixer：2K、batch 8–32、50% 压缩时，mixer 加速 1.26–1.28×，峰值 VRAM 比为 0.72–0.73。这里不包含投影、归一化、FFN 等全模型开销。**状态元素减半、mixer 峰值显存减少约 27–28%、全模型速度提升，是三个不同量。** 来源：App. G.1，pp. 27–28。

### 4.8 PCA 与联合选择消融解释了设计选择

**PCA 与卷积。** DeltaNet 370M 的 head 内共享卷积模型在未剪枝时具有相近质量：WikiText-2 PPL 29.5，对照为 29.8；平均准确率 43.8%，对照为 44.2%。共享卷积确实是一种代价不大的架构变体。可是在 50% 压缩时，保留高方差方向的 Proper PCA 在标准卷积模型上 PPL 约为 $3.2\times10^5$，共享卷积上仍为 155.76；相应 Grad 为 31.75 和 33.73。只修补卷积不能让 PCA 自动成为优秀的压缩方法。来源：Tables 14–15，pp. 21–22。

**联合选择。** Table 16 比较“根据 K、Q 的联合信息选索引”“只根据 K 选索引”“只根据 Q 选索引”。三种情况下最终仍把同一索引集合用于 K 与 Q，区别是选择依据，不能误读成只裁剪其中一个分支。

| DeltaNet 370M，50%，Wiki PPL ↓ | K+Q 评分 | 仅 K 评分 | 仅 Q 评分 |
| --- | --- | --- | --- |
| L1 | 3843.5 | 425218.3 | 33.0 |
| S-Wanda | 915.9 | 376074.0 | 33.0 |
| DRRQR | 31.4 | 286035.7 | 32.1 |
| Grad | 31.7 | 17709.6 | 31.9 |

来源：App. C.7，Table 16，p. 23。

这张表有双重意义。对 DRRQR 和 Grad，联合信息能挑出更好的子空间；对幅值法，query-only 反而明显优于简单地相加 K/Q 幅值。强 key 权重不一定对应重要读出方向，原始幅值还可能失衡。因此，“联合选择的 L1 很差”并不等于所有幅值型基线都差；query-only 幅值是值得保留的更强对照。

## 五：结论——哪些认识可以带走

本文最实用的贡献是把**状态压缩落实为权重、卷积和递推形状一致的通道裁剪**，能够使用现有密集快速内核。DRRQR 为选择原始特征列提供了清晰的数值线性代数依据，并在所测校准分布变化下表现稳定。

理论上，稳定秩让“有效容量”有了可计算的谱指标，最坏读出敏感性则解释了为什么极不均匀的谱可能产生脆弱方向。不过，提高归一化利用率、改善联合激活的条件数、保住模型行为仍是三个相连但不同的问题；数据中 L1 的较低条件数和较差质量恰好说明了这一点。

应用上，应先确定关心的是下一词预测、短任务零样本质量还是精确长程召回，再选择压缩率。本文在语言建模上得到有说服力的容量冗余证据，纯递归模型在 4K 检索上的代价则表明：部分弱方向可能承载低频、长程但重要的信息。混合架构的结果使“按层分配不同容量”成为有价值的后续方向。

沿着本文最值得继续研究的三个问题是：

1. **逐 head 自适应预算**：利用 Table 5 的异质性，让冗余更大的 head 多压缩，而不是全部使用相同比例。
2. **针对长程召回的选择目标**：把检索样本或动态状态误差纳入校准，检验是否能保住纯递归模型的弱但必要方向。
3. **混合模型的容量分工**：在同一模型内控制 exact-attention 路径，测出递归层究竟承担局部加工、语义汇总还是精确存储，避免仅凭跨模型比较归因。

以上是基于本文证据提出的研究方向，尚不是原文已验证的结果。