On State Reduction in Linear Attention：中文研读笔记

作者：Philipp Nazari、T. Konstantin Rusch
版本：arXiv:2602.04852v3，2026-09-29 修订
研读与获取日期：2026-10-13
材料：原文 PDF · 作者 TeX · 作者代码仓库
配套：英文汇报 PDF · 可编辑 TeX
下文页码均为从 1 开始的 PDF 页码，与本版本印刷页码一致。

论文总览

线性注意力把历史压缩进固定大小的矩阵状态，但预训练后的状态往往具有很不均匀的奇异值谱。本文把这一现象转化为一个部署问题：能否在预训练后，删除一部分 key/query 通道，直接缩小递归状态，并继续使用现有快速内核？

作者先把状态的稳定秩、key 的条件数和最坏情况下的读出噪声放大联系起来，再提出按每个 head 联合裁剪 key/query 的框架。核心选择器 DRRQR（Deep Rank Revealing QR）用强秩揭示 QR，从联合 key/query 激活中挑选一组保留主要方向、数值条件较好的原始通道。它不需要任务损失梯度，也避免了稠密旋转与逐通道卷积之间的冲突。

最值得记住的是三个结果：

• 状态减半具有实用性，但恢复微调与任务类型影响结论。 Gated DeltaNet 1.3B 经 DRRQR 裁剪 50% 并恢复微调后，WikiText-2 困惑度为 16.3，原模型为 16.8；六项零样本平均准确率为 58.0%，原模型为 59.4%。
• 语言建模质量不能代替记忆检索质量。 同一个纯递归模型在 4K NIAH 上从 81.3 降到 61.9；混合模型 Qwen3.5 9B 在仅裁剪递归层并微调这些组件后，4K NIAH 仍为 100.0。
• 真正缩小状态能带来端到端收益。 H100 上，Gated DeltaNet 1.3B 的状态减半在 batch 64 解码时达到 1.47× 加速；batch 1 时为 1.03×。预填充通常约 1.14–1.16×，取决于 batch 和上下文长度。

来源：Sec. 5，Tables 1、4，pp. 8–9；Tables 17–20，pp. 28–29。

结构地图

一：动机——固定状态也可能浪费容量

1.1 参数稀疏不一定节省递归状态

每个 head 的状态为 $\mathbf S_t\in\mathbb R^{d_v\times d_k}$，其中 $d_k$ 是 key/query 维度，$d_v$ 是 value 维度。若只把投影权重中的部分元素置零，key 仍有 $d_k$ 个坐标，状态仍需存放 $d_vd_k$ 个元素。本文直接删掉投影矩阵的整列，使状态变为 $d_v\times d_k'$。

来源：Fig. 1，p. 2。左侧的零权重没有缩小 key 的维度；右侧删除整条特征通道，状态列数才随之减少。

因此，论文中的“50% 压缩”指被剪层的递归矩阵状态元素减少 50%，在 $d_v$ 不变时等价于 $d_k'=d_k/2$。它不代表模型总参数、整个推理进程的显存或混合模型全部缓存也减少 50%。权重低秩分解、残差流裁剪和状态通道裁剪作用的位置不同，可以分别讨论。

1.2 低秩为什么提示压缩机会

如果状态的绝大部分谱能量只占少数方向，那么名义维度很大，并不意味着每个方向都在有效承载信息。本文用稳定秩量化这一现象，并研究删除弱通道后是否能保住实际任务能力。

这里有一个必要区分：观察某个时刻的低秩状态，还不足以给出一组跨输入、跨时间都可删除的坐标。作者通过校准数据选出固定的逐 head 通道集合，再用下游评测检验这种可部署的压缩。理论给出选择依据，质量收益来自实证验证。

二：方法——从秩分析到可部署的通道选择

2.1 先看递归记忆的写入和读出

最简单的未归一化线性注意力为

它将历史外积直接相加。DeltaNet 用当前 key 查出旧预测，把预测误差写回：

因此，key 既控制写入方向，也控制擦除哪些旧信息；query 决定哪些方向能被读出。Gated DeltaNet 进一步加入输入相关的衰减。来源：Sec. 2.1，Eqs. (1)–(2)，pp. 2–3。

附录给出在线回归解释：对当前样本损失

做步长为 $\beta_t$ 的梯度下降，就得到 DeltaNet。选择 key 特征也就等于缩小在线回归器的输入空间，约束快权重能够使用的假设类。连续时间梯度流的前向 Euler 离散化给出同一更新。来源：App. B.1，p. 15；App. E，p. 24。

2.2 代数秩、稳定秩和秩利用率各回答什么

对论文讨论的标量门控加 rank-one 更新这一类递推，状态的行空间由历史 keys 张成，列空间由历史 values 张成。因此，记 $\mathbf K_t=[\mathbf k_1,\ldots,\mathbf k_t]\in\mathbb R^{d_k\times t}$、 $\mathbf V_t=[\mathbf v_1,\ldots,\mathbf v_t]\in\mathbb R^{d_v\times t}$，有

归纳证明的关键是把更新写成 $\alpha_t\mathbf S_{t-1}+\mathbf u_t\mathbf k_t^\top$：新行方向最多增加当前 key；而右乘转移矩阵不会在列空间中凭空创造超出已有 values 的方向。来源：Eq. (3)，p. 3；App. F.2，pp. 25–26。

代数秩会把极小但非零的奇异值也计入，因而对非零状态，作者采用

本文的 effective rank 明确指这个稳定秩（stable rank），不是另一种基于奇异值熵的定义。它不要求整数，且满足 $1\le\operatorname{er}(\mathbf S)\le\operatorname{rank}(\mathbf S)\le d$。 $u$ 则衡量相对当前维度上限的谱利用程度：$u=1$ 时所有 $d$ 个奇异值相等；$u$ 很小时，能量集中于少数方向。来源：Sec. 2.2–2.2.1，Eq. (5)，pp. 3–4；App. D，pp. 23–24。

来源：Fig. 2，p. 3。横轴为奇异值 $\sigma$，纵轴为计数，均使用对数刻度；统计 DeltaNet 370M 的一个 head，在 FineWeb 长度 2048 的序列上跳过前 128 个 token。右图是 75% 压缩、恢复微调之前，极小奇异值的长尾显著缩短。两边矩阵维度不同，不能把柱高变化直接读作信息量增加。

2.3 key 条件数为何进入状态稳定秩下界

对加性记忆 $\mathbf S=\mathbf V\mathbf K^\top$，附录先假设 $\mathbf K\in\mathbb R^{d_k\times T}$ 满行秩，再把 values 按照 key 的行空间投影：

若 $\mathbf V_\parallel\ne0$，定义 $\nu(\mathbf V)=\operatorname{er}(\mathbf V_\parallel)$。于是

直觉是：若 keys 在某些方向上几乎退化，即使 values 有多个有效方向，写入过程也可能把谱能量压得很不均匀。对 DeltaNet，令 $\mathbf u_t=\beta_t(\mathbf v_t-\mathbf S_{t-1}\mathbf k_t)$， 就能把更新重新写成外积累加，用伪 values 的历史矩阵 $\mathbf U$ 代替 $\mathbf V$。

解读这个界时应保留两个条件。 第一，$\nu(\mathbf V)$ 虽只写了 $\mathbf V$，实际上还依赖 $\mathbf K$ 的行空间；换一组通道会改变投影，DeltaNet 的伪 values 也可能改变。第二，这是给定条件下的下界，不能据此宣称“降低 key 条件数必然提高真实状态秩”。DRRQR 实际约束的是联合 key/query 激活，和直接优化 $\mathbf S_t$ 仍隔着动态更新。来源：Eq. (4)，p. 3；App. F.1，p. 25。

2.4 低利用率与最坏读出敏感性

设理想 query 为单位向量 $\mathbf q^*$，受到扰动后为 $\widetilde{\mathbf q}=\mathbf q^*+\boldsymbol\varepsilon$。定义相对误差放大率

在 $\mathbf S$ 满列秩、因而 $d_v\ge d_k$ 的假设下，Prop. 2.1 给出

证明的几何图像很清楚：噪声沿最大奇异值方向，理想 query 沿最小奇异值方向，就得到 $\sigma_1/\sigma_{d_k}$。又因为 $u(\mathbf S)=d_k^{-1}\sum_i\sigma_i^2/\sigma_1^2\ge1/\kappa(\mathbf S)^2$，得到上述下界。低利用率意味着存在容易放大相对噪声的读出方向；特定 query 是否受影响，取决于其与谱方向的对齐。它没有给出平均噪声分布上的预期误差。来源：Eqs. (6)–(7)，p. 4；App. F.3，pp. 26–27。

教学例子：$\mathbf S=\operatorname{diag}(1,0.01)$ 时， $\operatorname{er}=1.0001$、$u=0.50005$，但 $\kappa=100$。 取 $\mathbf q^*=(0,1)^\top$、$\boldsymbol\varepsilon=(\delta,0)^\top$， 输出相对扰动是 $100|\delta|$。这也说明 $1/\sqrt u$ 只是下界，不能用它估计实际最坏放大的精确大小。

App. F.4 还固定状态与输入、只考虑线性 query 映射， 得到 $\mathbf J=\mathbf S\otimes\mathbf x^\top$，其非零奇异值为 $\|\mathbf x\|_2\sigma_i(\mathbf S)$。因此局部 query 权重反传也继承同样的谱条件数；结论针对局部线性读出，尚未涵盖整层非线性与状态路径。

2.5 正交变换精确等价，降维选择则需要容忍误差

DeltaNet 每个 value 通道可以视为一个共享转移矩阵的线性时变系统：

一般可逆换基不改变输入输出映射，但会把转移矩阵变成左右方向不同的形式。若取正交矩阵 $\mathbf T\in O(d_k)$，同时令

则 Delta 更新形式保持不变，且 $\mathbf S_t'\mathbf q_t'=\mathbf S_t\mathbf q_t$。标量衰减不破坏这个性质，所以也适用于 Gated DeltaNet 的 sequence mixer。来源：Sec. 3.1，Eq. (8)、Prop. 3.1，p. 5。

真正压缩用的是矩形半正交矩阵 $\mathbf T\in\mathbb R^{d_k'\times d_k}$，满足 $\mathbf T\mathbf T^\top=\mathbf I_{d_k'}$， 但 $\mathbf T^\top\mathbf T$ 不再是恒等阵。于是完整维度下的换基不变性不能直接推出降维后的输出等价。目标是选择损失可接受的子空间，并通过恢复微调适应它。

2.6 为什么选通道，而不直接用 PCA

PCA 能选择高方差子空间，却需要混合原始通道。实际 DeltaNet 层在投影后还包含逐通道因果卷积、SiLU 和归一化。对每个卷积延迟 $j$，滤波器可写成对角矩阵 $\mathbf D^{(j)}=\operatorname{diag}(\mathbf w^{(j)})$。稠密旋转会产生 $\mathbf T\mathbf D^{(j)}\mathbf T^\top$，一般是稠密矩阵，无法继续用原来的 depthwise 卷积。

作者因此限制为坐标选择：

得到索引集合 $\mathcal I$ 后，对每个 head 同时：

1. 保留 $\mathbf W_K$ 和 $\mathbf W_Q$ 的对应列；
2. 保留 key/query 卷积滤波器的对应通道；
3. 用新维度 $d_k'$ 执行原形式的递推和读出。

value 维度与每个 head 的输出维度保持原大小，所以不用把这次裁剪传播成残差流宽度压缩。选择还与逐点 SiLU 相容。归一化会在保留的坐标上重新计算，因此压缩后的动态仍需实证评估。来源：Sec. 3.2–3.3，pp. 5–6；Algorithm 1，p. 14。

附录研究了两个旋转补救方案：最近的对角滤波器为 $\mathbf W'=(\mathbf T\odot\mathbf T)\mathbf W$；或者预训练时在 head 内共享卷积，使卷积与旋转交换。前者只对滤波器的 Frobenius 近似误差最优；后者只解决卷积，SiLU 仍不与一般稠密旋转交换。来源：App. B.3–B.5，pp. 17–18。

2.7 四种选择器如何计算

所有方法最终都为每个 head 生成一个保留集合，并同时作用于 key/query。它们的区别在于如何给候选坐标估计重要性。

L1：联合投影权重幅值。

S-Wanda：再乘输入激活大小。

Grad：用任务损失的一阶敏感度。

前三种按分数保留每个 head 的 top-$d_k'$。L1 不需要校准，S-Wanda 需要前向激活，Grad 还需要完整模型损失的反向梯度，因此它是本文唯一直接感知当前任务目标的选择器。Rand 则随机选择通道，作为最简单的对照。来源：Sec. 3.4，pp. 6–7。

2.8 DRRQR：让保留列组成较好的数值基

在校准阶段，按样本作为行收集 $\mathbf K_{\rm cal},\mathbf Q_{\rm cal}\in\mathbb R^{N\times d_k}$， 并沿样本轴拼接

这与理论部分“历史向量按列堆叠”的 $\mathbf K_t$ 方向不同。每一列始终对应一个可实际删除的通道；DRRQR 选择原始列，不把 QR 的正交基变成部署时的旋转层。

令目标维度 $k=d_k'$、原维度 $n=d_k$，带列主元 QR 给出初始置换：

随后计算

若最大 $\rho_{ij}>f$，交换一个已选列和一个候选列，重新三角化；当所有 $\rho_{ij}\le f$ 时停止，输出置换中的前 $k$ 个原始通道。几何上，这是逐步增大已选列张成的平行多面体体积，避免选出近乎重复的方向。

当 $\operatorname{rank}(\mathbf M)\ge k$、容忍参数 $f\ge1$ 且满足强 RRQR 停止条件时，记 $c_f=\sqrt{1+f^2k(n-k)}$，有

已选列与 $\mathbf A_k$ 具有相同的非零奇异值。这些是校准联合激活矩阵的列选择保证；其用途是防止保留基过于退化，不是语言模型困惑度的上界，也没有证明所选 key 子矩阵必然满足同样的最优性。

来源：Sec. 3.4，pp. 6–7；Algorithm 2，p. 15；App. B.2，pp. 15–16。

三：实验——分别测选择质量、恢复能力与实际效率

3.1 模型与恢复协议

默认校准集含 128 条 FineWeb 样本；校准消融使用长度 2048 的序列。DRRQR 从激活中分别随机抽取约 2500 个 key 和 query。恢复微调（Recovery Fine-Tuning，RFT）使用：

• FineWeb 32k 条样本，序列长度 2048，batch size 16；
• LoRA rank 32、$\alpha=64$；
• 学习率在 5% warmup 后由 $10^{-4}$ 衰减到 $10^{-5}$；
• 额外解冻因果卷积与归一化层；
• 以原模型为教师进行知识蒸馏。

“pre-RFT”衡量直接通道选择后的质量，“post-RFT”则包括恢复训练的贡献。部分 post-RFT 指标优于原模型，但这里没有等预算继续训练的未剪枝对照，因此不能单独归因于剪枝带来的正则化。来源：App. A，p. 14。

3.2 指标怎么读

语言建模：WikiText-2 和 LAMBADA perplexity（PPL）越低越好。零样本平均分由 ARC-Easy、ARC-Challenge、HellaSwag、WinoGrande、PIQA、LAMBADA 六项准确率等权平均；ARC-E、ARC-C、HellaSwag 和 PIQA 用 acc_norm，WinoGrande 与 LAMBADA 用 acc。这里 LAMBADA 既有 PPL 又有准确率，不能混为同一列。

记忆与检索：RULER 综合分、NIAH 单针检索，以及 SQuAD-/SWDE-completion 分数均越高越好。纯递归模型在 2K 训练长度下评测 2K 与 4K；本文的“长上下文”证据应按这些实际长度理解。

效率：H100-SXM、CUDA graph、相同未修改的 flash-linear-attention 内核；每配置 10 次预热、100 次测量，报告三次独立试验的中位数。decode 固定 prompt length 512，prefill 改变 batch 和序列长度。speedup 为同配置 baseline 耗时除以剪枝后耗时，大于 1 表示更快。来源：App. C.3–C.4，pp. 19–20；App. G，pp. 27–33。

四：结果——冗余是真实的，损失也依赖具体能力

4.1 状态减半后，哪些质量指标能保住

下表摘取 Table 20 中 DRRQR 的 50% 压缩结果。箭头依次表示原模型、pre-RFT、post-RFT；平均准确率单位为 %。

来源：App. G.2，Table 20，p. 29；分任务结果在 Tables 21–24，pp. 30–33。

这组结果支持“当前语言建模任务并没有充分用满状态维度”，但恢复训练的作用在不同模型上很不一样。DeltaNet 1.3B 的 DRRQR 直接剪枝令 LAMBADA PPL 从 11.9 升到 47.2，恢复后才回到 11.8。相反，DeltaNet 370M 的直接剪枝已保持了平均准确率。

简单幅值剪枝在部分模型上失效：DeltaNet 370M 状态减半后，L1 的 WikiText-2 PPL 为 3843.5，S-Wanda 为 915.9，DRRQR 为 31.4。即使相同的参数维度被删除，选哪些通道仍决定模型是否可用。

进一步看 Gated DeltaNet 1.3B 的 post-RFT 结果：

来源：Table 1，p. 8。50% 下 DRRQR 的 WikiText-2 PPL 更低，但 Grad 的 LAMBADA 和平均准确率更好；不存在一个方法在所有指标上统治另一个。75% 压缩的代价进一步上升。把“最多可删多少”表达成质量—容量曲线，比给所有任务统一的比例更合适。

4.2 秩利用率提升，是否只是分母变小

来源：Fig. 3，p. 7。横轴为 token 位置，纵轴为跨层、跨 head 平均的秩利用率。除未压缩 baseline 外，所有方法都使用相同的 75% 压缩后维度。Grad 与 DRRQR 在这个样本上最高，因而它们之间及与其他剪枝法之间的比较不受状态维度不同的干扰。

Table 5 给出逐 head 统计：baseline 的平均 $u$ 为 0.053，DRRQR 为 0.170，L1 为 0.124；DRRQR 与 baseline 的逐 head 利用率 Pearson 相关系数为 0.96，L1 为 0.68。这说明不同 heads 原本的容量利用存在异质性，DRRQR 较一致地保留了这种相对结构。来源：App. C.1，p. 18。

本次分析：该实验中 $d$ 从 128 降为 32，利用率提高包含明显的分母效应。按表内四舍五入的均值折算，平均稳定秩约从 $128\times0.053=6.78$ 变为 $32\times0.170=5.44$。因此准确的解读是“用四分之一容量保留了较大部分有效维度”，而不是“压缩创造了更多绝对记忆容量”。

App. C.5 的 Fig. 5（p. 21）比较更多选择器，Fig. 6（p. 22）比较恢复前后：压缩通常缩短谱尾，有些 head 出现谱间隙，恢复训练还会进一步改变谱结构。该现象提示动态重组，但论文尚未建立它与特定检索能力变化之间的因果联系。

4.3 条件数更小，未必代表选择更好

下表是 DeltaNet 370M、75% 压缩时，保留的联合 key/query 激活列的逐 head 统计中位数。

来源：Table 6，p. 18。条件数一列是“每个 head 的比值”的中位数，不等于左右两列中位数相除。

DRRQR 在保留主要谱方向的同时提高了最小奇异值；L1 的条件数虽然最低，却把最大奇异值也大幅削弱了。因而本文的经验并非单纯“最小化条件数”，还需要保住对任务有用的强方向。DRRQR 与 Grad 每个 head 保留的 32 个通道中，中位重叠数为 26，随机选择的重叠为 8，说明两种准则捕捉到了相近的通道集合。

4.4 DRRQR 的突出优势是校准分布稳健性

固定 DeltaNet 370M、75% 压缩、pre-RFT，改变校准语料但始终在 WikiText-2 上评测：

来源：Table 2，p. 8；完整校准消融见 Table 7，p. 19。

FineWeb 样本数从 8 增至 512，DRRQR 的 PPL 仅在 41.6–41.7 间变化；换 seed 后为 41.5–41.6。Grad 在同域也相对稳定，但换语料后的损失更大。作者解释为：Grad 的重要性分数依赖校准损失，而 DRRQR 更依赖激活子空间结构。

数值使用上须区分实验：Table 21（p. 30）的常规 75% pre-RFT 结果给出 DRRQR 42.0、Grad 46.7，与专门校准消融的 41.6、44.9 不完全一致；原文没有说明这组差异的具体来源。因此这里分别引用，不把它们当成同一次实验。

4.5 扩展到 Mamba-2：有效，但 Grad 在 7B 更强

Mamba-2 的 $\mathbf B,\mathbf C$ 分别扮演写入与读出地址的角色，因而也可以做耦合状态维度选择。所有下表结果均未做 RFT。

来源：App. C.3，Tables 8–10，pp. 19–20；主文 Table 3，p. 8。

这证明框架可延伸到另一类递归架构，但并非规模越大越接近无损。7B 在减半状态时，DRRQR 平均准确率下降 7.3 个百分点，Grad 下降 4.5 个百分点；LAMBADA PPL 则分别由 6.7 升到 28.7 和 12.7。DRRQR 更稳健的校准表现与 Grad 在某些同域任务上的优势，需要同时保留。

4.6 长程召回是压缩真正暴露出的代价

Gated DeltaNet 1.3B 的恢复后结果：

来源：Table 11，p. 20。状态减半时 DRRQR 的 RULER 下降 11.3 分、NIAH 下降 19.4 分，SWDE 也下降 14.2 分。即使 20–30% 压缩，某些完成任务的代价也已经可见。

混合模型 Qwen3.5 9B 的结论明显不同：

来源：Table 12，p. 20；主文 Table 4，p. 9。

这里保持不变的 softmax attention 路径很可能承担了关键的长程记忆；这是作者提出、由结果支持的分工假说。不过两个模型规模和架构不同，实验并未通过关闭混合模型的 attention 层来隔离这一机制。

在恢复前，Qwen3.5 9B 的 DRRQR 50% 仍有选择优势：平均准确率 73.3% → 71.4%，而 L1 50% 为 50.9%；对应 WikiText-2 PPL 为 baseline 9.0、DRRQR 11.6、L1 38.0。来源：Table 13，p. 21。

4.7 端到端收益依赖 batch，且不等于状态缩小比例

来源：Fig. 4，p. 9。两个面板横轴都是 batch size，纵轴为相对原模型的速度倍数；青色为 50% 状态压缩，洋红色为 75%。左图 decode 使用 512-token prompt；右图 prefill 的虚线/点线区分 8K/2K 上下文。

完整 decode 表中的关键配置：

来源：Table 17，p. 28。1.47× 表示同配置速度提高 47%；按表内值换算，耗时约为 $11.61/1.47=7.90$ ms/token，降低约 32%，不能写成耗时降低 47%。

对 prefill，Gated DeltaNet 1.3B 在 50% 压缩、2K、batch 1–2 时只有 1.00×，batch ≥4 时约 1.14–1.16×；8K/16K 大多也在这个区间。Table 18 中缺失的配置是原 chunked kernel 超过显存容量，不能把空格理解成零收益。

Table 19 另外隔离了 sequence mixer：2K、batch 8–32、50% 压缩时，mixer 加速 1.26–1.28×，峰值 VRAM 比为 0.72–0.73。这里不包含投影、归一化、FFN 等全模型开销。状态元素减半、mixer 峰值显存减少约 27–28%、全模型速度提升，是三个不同量。 来源：App. G.1，pp. 27–28。

4.8 PCA 与联合选择消融解释了设计选择

PCA 与卷积。 DeltaNet 370M 的 head 内共享卷积模型在未剪枝时具有相近质量：WikiText-2 PPL 29.5，对照为 29.8；平均准确率 43.8%，对照为 44.2%。共享卷积确实是一种代价不大的架构变体。可是在 50% 压缩时，保留高方差方向的 Proper PCA 在标准卷积模型上 PPL 约为 $3.2\times10^5$，共享卷积上仍为 155.76；相应 Grad 为 31.75 和 33.73。只修补卷积不能让 PCA 自动成为优秀的压缩方法。来源：Tables 14–15，pp. 21–22。

联合选择。 Table 16 比较“根据 K、Q 的联合信息选索引”“只根据 K 选索引”“只根据 Q 选索引”。三种情况下最终仍把同一索引集合用于 K 与 Q，区别是选择依据，不能误读成只裁剪其中一个分支。

来源：App. C.7，Table 16，p. 23。

这张表有双重意义。对 DRRQR 和 Grad，联合信息能挑出更好的子空间；对幅值法，query-only 反而明显优于简单地相加 K/Q 幅值。强 key 权重不一定对应重要读出方向，原始幅值还可能失衡。因此，“联合选择的 L1 很差”并不等于所有幅值型基线都差；query-only 幅值是值得保留的更强对照。

五：结论——哪些认识可以带走

本文最实用的贡献是把状态压缩落实为权重、卷积和递推形状一致的通道裁剪，能够使用现有密集快速内核。DRRQR 为选择原始特征列提供了清晰的数值线性代数依据，并在所测校准分布变化下表现稳定。

理论上，稳定秩让“有效容量”有了可计算的谱指标，最坏读出敏感性则解释了为什么极不均匀的谱可能产生脆弱方向。不过，提高归一化利用率、改善联合激活的条件数、保住模型行为仍是三个相连但不同的问题；数据中 L1 的较低条件数和较差质量恰好说明了这一点。

应用上，应先确定关心的是下一词预测、短任务零样本质量还是精确长程召回，再选择压缩率。本文在语言建模上得到有说服力的容量冗余证据，纯递归模型在 4K 检索上的代价则表明：部分弱方向可能承载低频、长程但重要的信息。混合架构的结果使“按层分配不同容量”成为有价值的后续方向。

沿着本文最值得继续研究的三个问题是：

1. 逐 head 自适应预算：利用 Table 5 的异质性，让冗余更大的 head 多压缩，而不是全部使用相同比例。
2. 针对长程召回的选择目标：把检索样本或动态状态误差纳入校准，检验是否能保住纯递归模型的弱但必要方向。
3. 混合模型的容量分工：在同一模型内控制 exact-attention 路径，测出递归层究竟承担局部加工、语义汇总还是精确存储，避免仅凭跨模型比较归因。

以上是基于本文证据提出的研究方向，尚不是原文已验证的结果。