# Kronecker Delta Rule for Long Context Linear Attention：中文精读

**论文**：Anamaria-Roberta Hartl、Levente Zólyomi、Michael List、Günter Klambauer、Sebastian Böck、Sepp Hochreiter，*Kronecker Delta Rule for Long Context Linear Attention*，arXiv:2610.26834v1，2026-10-19 提交。2026-10-22 获取。[arXiv 页面](https://arxiv.org/abs/2610.26834v1) · [本地原文 PDF](../source/paper.pdf)

## 论文总览

KronLSTM 是一种递归线性注意力架构。它把上下文压进固定大小的矩阵记忆 $S$，但每次只修正当前键 $k$ 与值 $v$ 之间的**标量关联** $v^\top S k$。这个 Kronecker Delta Rule 的修正方向固定为 $vk^\top$：旧关联只有在键和值两个方向都与新关联重叠时才被直接扰动。与按整个读出向量 $Sk$ 修正的 DeltaNet 相比，这提供了更细粒度的记忆更新，也使一个键能够承载多个可区分的值方向。作者把该规则与逐键维度遗忘门、独立擦除门和写入门结合，构成 KronLSTM。（§2.1–2.2，PDF 第 3–6 页）

在论文报告的 1.5B 参数、100B token 预训练设置下，纯线性 KronLSTM 的六项语言任务平均准确率为 **59.72%**，高于最强对照 KDA 的 58.12%；2k 真实文本召回平均为 **30.31%**，高于 GDN 的 29.81%。把 75B token 检查点继续用 32k 序列训练到 100B token 后，它在大多数自然文本针检索任务上优于 GDN-2，但 32k 时两者的绝对准确率仍明显下降。（表 1–4、表 A4，PDF 第 7–10、47 页）

理论部分证明：在**独立同分布抽样、固定步长、特征张成记忆空间**等条件下，裸 Kronecker 规则的均值趋向最小二乘解，其分布趋向唯一稳态；满足更强的非扩张步长条件时，零初始记忆的**期望平方 Frobenius 范数**在所有步上有统一上界。这是关于简化随机规则的结果，不能直接当作完整、输入依赖门控网络在任意数据流上的稳定性定理。（§2.1，PDF 第 4–5 页；附录 A3，PDF 第 29–40 页）

## 结构地图

| 原文章节 | 讨论内容 | PDF 位置 |
| --- | --- | --- |
| §1 Introduction | 长上下文效率、遗忘与记忆干扰；更新示意和高学习率压力测试 | 第 1–3 页，图 1–2 |
| §2.1 Kronecker Delta Rule | 标量误差、向量化、干扰、容量、稳态与范数界 | 第 3–5 页，式 1–9 |
| §2.2 The KronLSTM architecture | 三类门、归一化、块结构 | 第 5–6 页，图 3，式 10–12 |
| §3.1–3.2 Language Modeling / Retrieval Capabilities | 语言任务、真实召回和 RULER | 第 6–9 页，表 1–3 |
| §3.3 Long Context Extension | 32k 延长训练与检索 | 第 9–10 页，表 4、图 4；附录 A6–A7 |
| §3.4–3.5 State Tracking / Training Efficiency | 算法状态追踪与单卡吞吐 | 第 10 页，图 5–6 |
| §4 Conclusion；附录 A1–A8 | 结论、形式化性质与证明、额外结果、训练细节和分块并行算法 | 第 11、19–53 页 |

## 一：为什么需要另一种矩阵记忆更新

标准线性注意力把每个 token 的外积加进记忆：$S_{t+1}=S_t+v_tk_t^\top$，读取为 $h_t=S_tq_t$。它使每步推理的记忆大小与上下文长度无关，但持续写入会累积旧内容。mLSTM 等方案用遗忘门控制增长；长上下文需要保留早期信息时，遗忘率又必须接近 1，因而另需归一化和稳定化状态。（§1–2.1，PDF 第 2–3 页）

DeltaNet 的修正为 $S_{t+1}=S_t-\beta_t(S_tk_t-v_t)k_t^\top$：它先看当前键读出了什么，再把整个 $d_v$ 维读出推向新值。若旧键与 $k_t$ 重叠，旧读出也会变化，即使旧值与新值的方向互不相关。KronLSTM 试图把要满足的条件缩为一个标量，从而缩小一次写入触及的方向。（§2.1，PDF 第 3–4 页）

![图 1：三种记忆修正的示意](figures/fig-01-revision.png)

图 1（PDF 第 1 页）把 mLSTM 的整体遗忘、Gated DeltaNet 的键方向修正和 KronLSTM 的键值双方向修正画成格点。它是机制示意：格点颜色并非测得的干扰率。

## 二：规则、网络与理论

### 2.1 标量关联及最小修正

设 $S_t\in\mathbb R^{d_v\times d_k}$，$k_t,q_t\in\mathbb R^{d_k}$，$v_t\in\mathbb R^{d_v}$。$c_t$ 是希望当前键值对达到的标量关联强度，$\beta_t$ 是步长。论文式 (3) 的规则为

$$
S_{t+1}=S_t-\beta_t\big(v_t^\top S_tk_t-c_t\big)v_tk_t^\top.
$$

令误差 $e_t=v_t^\top S_tk_t-c_t$。这一步正是对瞬时目标 $\frac12(v_t^\top Sk_t-c_t)^2$ 做梯度下降，因为 $\nabla_S\frac12 e_t^2=e_t v_tk_t^\top$。同一对 $(k_t,v_t)$ 更新后，其误差变为 $e_t(1-\beta_t\|k_t\|_2^2\|v_t\|_2^2)$；因此 $0<\beta_t\|k_t\|^2\|v_t\|^2<2$ 时收缩，取 $\beta_t^*=1/(\|k_t\|^2\|v_t\|^2)$ 时一步满足目标。（§2.1，PDF 第 3–4 页；附录 A3.3，PDF 第 22–24 页）

把 $S$ 按列展开为 $s=\operatorname{vec}(S)$，令 $a=k\otimes v=\operatorname{vec}(vk^\top)$，则 $v^\top Sk=a^\top s$，规则变成

$$
s_{t+1}=(I-\beta_ta_ta_t^\top)s_t+\beta_tc_ta_t.
$$

这就是在 $d_kd_v$ 维 Kronecker 特征上的标量 Delta Rule；论文名称由此而来。一次目标 $a^\top s=c$ 是矩阵空间中的超平面。$\beta^*$ 给出从 $S_t$ 到该超平面的最短 Frobenius 范数修正；附录还证明它在所有酉不变矩阵范数下都是极小修正之一。这个“最小”结论要求**一步精确满足目标**；实际网络用 sigmoid $\beta_t\in(0,1)$，通常执行的是松弛步。（§2.1，PDF 第 4 页；附录 A3.4，PDF 第 26–28 页）

### 2.2 为什么干扰更局部，以及容量的含义

对旧关联 $(k_i,v_i)$，新一步造成的标量读出变化恰为

$$
\Delta(v_i^\top Sk_i)=-\beta_t e_t\,(v_i^\top v_t)(k_t^\top k_i).
$$

键**或**值有一个正交，旧关联便不受这一步直接影响。相比之下，DeltaNet 改变旧键上的整个向量读出，主要由键重叠决定。附录 A3.4 的“平均干扰最小”还假定探针键和值独立且各向同性；不能把它外推成所有真实文本分布上的逐样本优胜保证。（式 5，PDF 第 4 页；附录 A3.4，PDF 第 27 页）

一个教学例子：令 $k=e_1$，初始 $S=e_1e_1^\top$，表示 $e_1^\top Se_1=1$。现在写入同一个键、正交值 $v=e_2$，取 $c=\beta=1$。Kronecker 规则得到 $S'=(e_1+e_2)e_1^\top$，新旧两个**标量**关联均为 1；Delta Rule 则把 $Se_1$ 从 $e_1$ 改为 $e_2$。Kronecker 的完整向量读出是 $S'e_1=e_1+e_2$，因此“可共存”并不等于单次读出会自动辨认用户想要哪一个值；后续查询和网络层仍需解码。原文的容量说法是：若 $k_i\otimes v_i$ 线性独立，$d_kd_v$ 维矩阵最多能精确满足相应数量的**标量**约束，不是无条件保存 $d_kd_v$ 个完整值向量。（§2.1，PDF 第 4 页；附录 A3.3，PDF 第 24–25 页）

### 2.3 KronLSTM 如何把规则放进模型

实际每个头先对输入 $x_t$ 做线性投影、短因果深度卷积、SiLU，并对 $q_t,k_t,v_t$ 做 $\ell_2$ 归一化。三类门分别控制遗忘、擦除与写入：逐键维度的 $F_t=\operatorname{diag}(f_t)$ 从右侧衰减旧记忆；$\beta_t$ 和 $c_t$ 是每头标量 sigmoid 门。论文式 (10) 把写入与擦除解耦：

$$
S_{t+1}=S_tF_t-\beta_t\big(v_t^\top S_tF_tk_t\big)v_tk_t^\top+c_tv_tk_t^\top.
$$

$f_{t,j}=[\sigma(-z_{t,j})]^\alpha$，$z_t=W_fx_t+b_f$，$\alpha=\exp(a_{\log})>0$ 为每头共享的可学习尺度。查询用更新后的记忆读出，经输出门、每头 RMSNorm 和输出投影形成层输出。三门解耦让擦除幅度不必同时缩小写入幅度；值归一化与 $\beta_t<1$ 使单步擦除因子处于非扩张区间。这里“无需额外归一化和稳定化状态”指**矩阵记忆本身**，并非模型完全没有归一化：$q,k,v$ 和层读出仍有归一化。（§2.2，PDF 第 5–6 页）

![图 3：KronLSTM 块的投影、门控与矩阵记忆](figures/fig-03-block.png)

图 3（PDF 第 6 页）显示 $q,k,v$ 共用相似的局部特征路径，$\beta,c,f$ 分别由输入产生。附录 A8（PDF 第 49–53 页）还给出分块并行训练：块内写入系数 $u_r=c_r-\beta_r v_r^\top S_{r-1}F_rk_r$ 由单位下三角系统求出；系统的相互作用矩阵是**带遗忘权重的键 Gram 与值 Gram 的逐元素乘积**，无须显式构造 $d_kd_v$ 维 Kronecker 特征。块间仍传播矩阵状态。

### 2.4 稳态定理究竟保证什么

理论先分析**不带网络遗忘门**的规则：从固定集合独立抽取 $(k_i,v_i,c_i)$，使用共同步长 $\beta$，令 $a_i=k_i\otimes v_i$、$\bar A=\mathbb E[a_ia_i^\top]\succ0$，并要求 $0<\beta\|a_i\|^2<2$。均值满足

$$
\mathbb E[s_{t+1}]=(I-\beta\bar A)\mathbb E[s_t]+\beta\mathbb E[c_ia_i],
\qquad s_{\mathrm{LS}}=\bar A^{-1}\mathbb E[c_ia_i].
$$

因此均值以几何速度趋向最小二乘记忆。常数步长下，随机轨迹一般**不会收敛到一块确定矩阵**：它的分布收敛到唯一稳态，稳态均值为 $s_{\mathrm{LS}}$，不一致约束造成围绕均值的波动；波动协方差是 $O(\beta)$。证明用同一次随机抽样耦合两条轨迹，得到 Wasserstein-2 收缩。（定理 1；附录 A3.5，PDF 第 29–35 页）

进一步若 $\kappa=\beta\max_i\|a_i\|^2\le1$，且 $S_0=0$，则论文定理 2 给出

$$
\mathbb E\|S_t\|_F^2
\le (1+q_\beta^{t/2})^2\frac{\mathbb E[c^2]}{\lambda_{\min}(\bar A)}
\le 4\frac{\mathbb E[c^2]}{\lambda_{\min}(\bar A)},
\quad q_\beta=1-\beta(2-\kappa)\lambda_{\min}(\bar A).
$$

稳态上界则是 $\mathbb E_{\pi_\beta}\|S\|_F^2\le\mathbb E[c^2]/\lambda_{\min}(\bar A)$。$\lambda_{\min}(\bar A)$ 小意味着某些矩阵方向几乎没有被输入覆盖，界会变松。这个期望二阶矩界不是每条路径的确定性范数界，也不是训练梯度的上界。实际 KronLSTM 有输入相关的 $F_t,\beta_t,c_t$，理论给出其更新设计的解释，但论文没有把同一定理逐字推广到完整训练网络。图 2 的高学习率实验展示 KronLSTM 的梯度范数比 mLSTM 平稳，是相应的经验补充。（§1、§2.1–2.2，PDF 第 2、4–6 页；附录 A3.6，PDF 第 36–40 页）

![图 2：mLSTM 与 KronLSTM 的高学习率梯度范数压力测试](figures/fig-02-stability.png)

图 2（PDF 第 2 页）纵轴为梯度范数，横轴为训练步数；mLSTM 出现多次尖峰，KronLSTM 曲线较平。这是特定压力测试，不给出所有训练设置的梯度波动分布。

## 三：实验怎样比较

主实验比较 Gated DeltaNet（GDN）、Kimi Delta Attention（KDA）、Mamba-3、GDN-2、mLSTM 与 KronLSTM。每种架构都有纯递归线性版，以及按**线性层 : 2048 窗口滑动注意力层 = 5 : 1** 混合的版本。1.5B 模型使用 24 层、2048 隐维、16 头，预训练 100B 个 FineWeb-Edu token、8k 序列；附录的 400M 模型预训练 40B token。主对照共享语料、分词器、优化方案、批量和随机种子，只替换序列混合器。语言任务指标为六项准确率平均值 Avg-6（越高越好）和 LAMBADA 困惑度（越低越好）；召回和 RULER 报准确率。（§3 开头，PDF 第 6 页；附录 A7，PDF 第 48 页）

关键评估问题依原文顺序为：

1. **语言建模 (§3.1)**：五项常识推理任务加 LAMBADA，在同一预训练预算下比较一般能力；Avg-6 是六列准确率的算术平均，不含困惑度。
2. **检索 (§3.2)**：六项真实文本召回固定在 2k 上下文；RULER 的 S1/S2/S3/MK/MQ/MV 在 4k、8k、16k 评估，其中 16k 超出 8k 预训练长度。S1 反复出现人工噪声句，S2/S3 更接近自然语言针。
3. **长度延展 (§3.3)**：从 75B token 检查点分支，用长文档混合语料及 32,768 长度继续训练 25B token，与 8k 训练至 100B token 的预算相同；比较 KronLSTM 与 GDN-2，分别评估语言任务、2k 召回及最长 32k 的 RULER。
4. **状态追踪与吞吐 (§3.4–3.5)**：奇偶、$S_3$ 置换和模 5 算术用长度至 128 训练、至 1024 评估；单 H100-80GB 吞吐在每步 16,384 token 不变时改变“长度 × 批量”形状。

## 四：逐组读结果

### 4.1 语言任务：平均领先，但不是每列都领先

| 1.5B / 100B token | 纯线性 Avg-6 ↑ | 纯线性 LAMBADA ppl ↓ | 混合 Avg-6 ↑ | 混合 LAMBADA ppl ↓ |
| --- | ---: | ---: | ---: | ---: |
| KDA | 58.12 | 12.67 | 57.85 | 12.60 |
| GDN-2 | 57.94 | 12.54 | 58.79 | 11.85 |
| KronLSTM | **59.72** | **11.72** | **59.56** | **11.18** |

表 1（PDF 第 7 页）：KronLSTM 相比最强纯线性 Avg-6 对照 KDA 高 **1.60 个百分点**；混合模型相比最强混合对照 GDN-2 高 **0.77 个百分点**。纯线性版在六列中有五列最佳；混合版有四列最佳。混合 KronLSTM 的 Avg-6 为 59.56，略低于其纯线性版 59.72，所以不能把加滑动窗口概括为对该模型的全面提升。附录 400M/40B 的 Avg-6 为 48.43（KronLSTM）与 48.10（次高的 Mamba-3），差距比 1.5B 时小；KDA 的 LAMBADA 困惑度 27.84 低于 KronLSTM 的 28.28。（表 A1，PDF 第 47 页）

### 4.2 真实文本召回：平均领先，局部任务仍有让步

| 1.5B、2k 上下文 | 纯线性 Recall Avg-6 ↑ | 混合 Recall Avg-6 ↑ |
| --- | ---: | ---: |
| GDN | 29.81 | 35.27 |
| Mamba-3 | 28.41 | 36.96 |
| KronLSTM | **30.31** | **37.40** |

表 2（PDF 第 8 页）显示，纯线性版领先 GDN **0.50 个百分点**，混合版领先 Mamba-3 **0.44 个百分点**。KronLSTM 在两种配置下各有三项任务最佳；例如纯线性 SWDE 30.87、SQuAD 39.28、FDA 15.34，但 DROP 19.31 低于 GDN 的 21.18。平均领先反映的是六任务的总体表现，不能解读成所有召回任务都提高。

### 4.3 RULER：自然文本针更稳，S1 构成反例

表 3（PDF 第 9 页）在**8k 预训练、16k 测试**时报告：纯线性 KronLSTM 的 S3、MQ、MV 分别为 11.8%、12.7%、17.6%，对应 GDN 为 5.4%、8.6%、13.8%；但 S1 仅 11.6%，而 GDN 为 99.2%。混合模型在 16k 上，KronLSTM 六项分别是 16.2%、17.4%、7.0%、21.0%、12.2%、13.2%，是表内混合对照中每列最高；多数混合对照在 S1 的结果接近 2048 滑动窗口覆盖比例，而 KronLSTM 高于它们。作者把纯线性 S1 下降归因于重复键引发的残差累积，这是解释假说，表格本身只显示性能差异。

这里必须按任务看长上下文：当从 8k 外推到 16k 时，各模型在多个任务上都明显下降。KronLSTM 的更新机制与其自然语言针任务优势相符，但这些性能曲线没有单独隔离键值重叠、门控或训练动力学的因果作用。

### 4.4 32k 延长训练：受益明显，32k 仍困难

主表 4（PDF 第 9 页）显示，延长训练后纯线性 KronLSTM 的 Avg-6 / LAMBADA ppl / 2k 召回均值为 **60.19 / 7.66 / 31.08**，GDN-2 为 **58.75 / 8.36 / 29.95**；混合版分别为 KronLSTM **60.10 / 7.64 / 36.23**、GDN-2 **59.32 / 8.27 / 35.21**。这些结果来自 75B token 分支后的继续训练；与原 8k 预训练表格相比，序列长度和训练语料构成同时改变，不能把全部提升单独归因于长度。

![图 4：32k 延长训练后的 RULER 检索](figures/fig-04-long-context.png)

图 4（PDF 第 10 页）横轴是测试上下文长度，纵轴是准确率；实线为纯线性模型，虚线为混合模型。附录表 A4（PDF 第 47 页）给出精确值：在 16k 的纯线性 S3 上，KronLSTM **41.8%** 对 GDN-2 **7.4%**；在 32k 的 S2/S3/MK/MQ/MV 上，KronLSTM 分别 **5.6/8.6/5.0/3.0/11.3%**，GDN-2 分别 **2.6/0.8/3.0/1.5/7.2%**。纯线性 S1 则仍由 GDN-2 领先（32k 为 **97.8%** 对 **81.4%**）。因此“自然文本任务的相对优势”与“32k 绝对准确率较低”需要同时保留。

### 4.5 状态追踪、速度和消融

![图 5：状态追踪的长度泛化](figures/fig-05-state-tracking.png)

图 5（PDF 第 10 页）显示：KronLSTM 在奇偶和 $S_3$ 置换任务的长序列准确率接近或优于 GDN，Mamba-3 在模 5 算术上较好。这里将 $\beta_t$ 扩到 $(0,2)$ 以允许更新因子产生负特征值；这与语言模型默认 $\beta_t\in(0,1)$ 的配置不同。阴影为三随机种子的标准差，训练最长 128、测试最长 1024。（§3.4，附录 A7，PDF 第 10、48 页）

![图 6：单 H100 上的训练吞吐](figures/fig-06-throughput.png)

图 6（PDF 第 10 页）固定每步 16,384 token。KronLSTM 为约 36.8–44.5 千 token/s，在各形状上比 GDN-2 快 11–18%，但慢于 GDN；序列形状到 16k × 1 时所有模型都下降。这个数字描述的是论文所用单卡训练栈与模型，不是跨硬件的通用复杂度实测。

附录表 A3（PDF 第 47 页）进一步区分写入设计。纯线性 1.5B 模型的基线 NIAH 均值在 4k / 8k / 16k 为 **59.5 / 30.5 / 14.3**；把 $\beta$ 同时作用于擦除和写入后为 **46.9 / 29.4 / 11.8**；固定单位写入目标后为 **41.9 / 26.2 / 10.1**。耦合版本的语言任务 Avg-6 反而略高（60.00 对 59.72），说明解耦的主要收益在这一组长距检索测试，而非每个指标。取消值的 $\ell_2$ 归一化使 4k NIAH 降至 39.6，但 8k 值 32.7 高于基线 30.5，不能说所有长度都受损。

## 五：结论与可迁移的判断

这篇论文的核心启发是把“读出整个值向量应等于目标值”改成“当前键值对的一个标量关联应达到目标”，并用 $k\otimes v$ 将这种局部修正写成标准随机投影/最小二乘问题。由此得到键和值双重控制的干扰公式、可分析的稳态，以及可用 Gram 矩阵逐元素积实现的分块并行训练。实验在相同主预训练预算下支持其语言任务与自然文本召回优势；消融又说明独立写门对检索尤为关键。

实际取舍有三点。第一，标量容量并不等同于无损检索容量：同键多值会在向量读出里叠加，S1 是本论文的具体失败案例。第二，理论范数界依赖固定步长、独立抽样和特征覆盖，完整门控网络的稳定学习主要仍由架构约束与实验支持。第三，32k 结果体现相对改进，也显示高难检索仍未解决。若后续使用这一机制，宜同时检查目标任务中的键值重叠结构、长序列绝对准确率，以及门控参数在真实训练轨迹中的变化。