# Kalman Delta Networks：不确定性感知的关联记忆

题名：**Kalman Delta Networks: Uncertainty-aware Associative Memory**  
作者：Ngoc Bui、Tinglin Huang、Rex Ying（Yale University）  
论文版本：**arXiv:2609.07816v1**，提交于 2026-09-07；获取与研读日期：2026-09-22。  
材料：[arXiv v1](https://arxiv.org/abs/2609.07816v1) · [本地原文 PDF](../source/paper.pdf) · [作者 TeX 主文件](../source/tex/files/main.tex) · [英文汇报 PDF](slides.en.pdf) · [可编辑幻灯片](slides.en.tex)。

阅读范围：已阅读作者 `main.tex` 的全部有效正文、附录 A–D，以及相关宏定义，并用同版本 27 页 PDF 核对公式编号、六张表和四幅图。源码中 `\iffalse` 关闭的背景/RLS 草稿不属于最终论文，未作为原文证据。以下页码均为从 1 开始的 PDF 页码，与文内印刷页码一致。作者代码链接见原文首页；本次未运行作者代码、未复现预训练。本文是分析笔记，不是全文翻译。

## 论文总览

**一句话主线：为 Delta-rule 记忆增加随历史递推的不确定性状态，用 Kalman gain 决定如何纠正记忆，再用对角/各向同性近似把这套更新变成可扫描的线性注意力。**

固定大小的记忆矩阵必须不断覆盖旧信息。KDA 等模型用当前 token 隐状态预测写入门，KDN 则显式区分三个问题：旧记忆如何变化、对旧记忆有多确定、当前观测有多可靠。它将这三者分别交给状态转移、不确定性递推、观测噪声，并据此形成写入增益。

最有证据支持的结论是：在本文控制的 FineWeb-Edu 预训练中，两个 KDN 变体在两种规模的**纯递归模型组**都取得更低的两项困惑度和更高的六任务平均准确率；Diagonal KDN 的合成检索优势更明显。1.3B/100B 时，其六任务均分相对 KDA 仅增加 **0.17 个百分点**，而 14 个 RULER 单元的等权均分增加约 **12.20 个百分点**。这说明不同能力上的收益幅度差别很大，不能概括成所有任务的大幅提升。（Table 1–2，pp.12–13；RULER 均分为本次复算。）

## 结构地图

| 原文章节 | 论证作用 | PDF 定位 |
| --- | --- | --- |
| 1. Introduction | 固定容量记忆为何需要置信状态 | pp.1–3 |
| 2. Preliminaries | Attention、DeltaNet、GDN、KDA、Mamba 的递推差异 | pp.3–4，Eq.(1)–(7) |
| 3. Kalman Associative Memory | 状态空间建模、精确滤波、Delta-rule 特例 | pp.4–8，Fig.1，Eq.(8)–(20) |
| 4. Kalman Delta Networks | 对角变分近似、信息缩放、Möbius scan、各向同性变体 | pp.8–11，Fig.2，Eq.(21)–(40) |
| 5.1. Experimental Setup | 数据、骨干、参数匹配、训练协议 | pp.11–13，Fig.3 |
| 5.2. Experimental Results | 语言建模、推理、合成与真实检索 | p.14；Table 1–3 位于 pp.12–14 |
| 5.3. Ablation and Runtime | 信息缩放、噪声参数、mixer 吞吐 | pp.14–15，Table 4–5、Fig.4 |
| 6. Related Work | 与预条件 DeltaNet、SSM、其他 Kalman 注意力的区别 | pp.15–16 |
| 7. Conclusion and Future Work | 贡献与更丰富转移的开放问题 | p.16 |
| A. Theoretical Proofs | 精确 Kalman MMSE 与对角 reverse-KL 投影证明 | pp.19–21 |
| B. Overwrite and Protection–Write Decoupling | 方向方差失真、未来写入保护、固定权重干预 | pp.21–23，Table 6 |
| C. Isotropic Kalman Delta Network | 两次不同投影及标量递推 | pp.23–26 |
| D. Hardware-Efficient Chunkwise Algorithm | 增益分块扫描与 compact-WY 记忆计算 | pp.26–27 |

参考文献位于 pp.16–19；本笔记未对每篇被引论文展开独立核查。

## 一：动机——写入强度缺少显式的历史置信依据

### 1. 从保存所有 token 到保存一个映射

普通注意力保留随上下文增长的 KV cache。递归线性注意力把历史压缩成 $S_t\in\mathbb R^{d_k\times d_v}$，用 $S_t^\top q_t$ 回答查询；递归状态大小不随序列长度增加，但它必须在不知道未来查询的情况下决定覆盖什么。

简单累加 $S_t=S_{t-1}+k_tv_t^\top$ 无法主动修正已写内容。DeltaNet 用当前 key 读出预测，再写残差；Gated DeltaNet 加上统一衰减；KDA 允许各 key 通道具有不同的保留率。三者可写成同一个形式：

$$
S_t=D_tS_{t-1}+\beta_t k_t\bigl(v_t-(D_tS_{t-1})^\top k_t\bigr)^\top.
$$

| 模型 | 转移 $D_t$ | 写入增益 | 显式递推协方差 |
| --- | --- | --- | --- |
| DeltaNet | $I$ | $\beta_t k_t$ | 无 |
| Gated DeltaNet | $\alpha_t I$ | $\beta_t k_t$ | 无 |
| KDA | $\operatorname{diag}(\alpha_t)$ | $\beta_t k_t$ | 无 |
| Isotropic KDN | $\operatorname{diag}(\alpha_t)$ | 由历史标量不确定性决定的 $\beta_t k_t$ | 每头 1 个标量 |
| Diagonal KDN | $\operatorname{diag}(\alpha_t)$ | $\kappa_t$，方向也可改变 | 每头 $d_k$ 个标量 |

来源：Sec.2、Sec.3.3、Sec.4，pp.3–11。这里的“fixed-gain”沿用论文命名，**不表示 $\beta_t$ 跨 token 恒定**；它表示没有用显式协方差递推求出增益。当前隐状态本身可能已含上下文，不能把作者论点扩大为“baseline 完全看不到历史”。

### 2. 为何只看残差不够

同样大的残差可能意味着记忆已过时，也可能只是新观测嘈杂。若旧关联经过多次确认，应该更谨慎地修改；若旧关联尚不确定，则应更充分地接纳观测。KDN 的创新是给这种区别一个可计算的状态变量，而不是直接放大残差。

与 Mamba 的联系也有明确边界：两者都有状态转移，但论文对比的 Mamba 递推直接加入控制输入，KDN 则先预测当前 key 下的 value，再加入由不确定性加权的预测误差。（Sec.2–3，pp.4–7。）

## 二：方法——从精确 Kalman 记忆到可并行近似

### 1. 符号与建模假设

| 符号 | 维度/类型 | 含义 |
| --- | --- | --- |
| $x_t$ | token 隐向量 | 产生查询、键值与动态参数的网络输入 |
| $k_t,q_t$ | $\mathbb R^{d_k}$ | 写入时观测的 key、读出时的 query |
| $v_t,o_t$ | $\mathbb R^{d_v}$ | 观测 value、层输出 |
| $\widetilde S_t,S_t$ | $d_k\times d_v$ | 随机潜在映射、所保存的均值估计 |
| $P_t,\widehat P_t$ | $d_k\times d_k$ | 更新后、观测前的 key 空间协方差 |
| $D_t,\Omega_t$ | $d_k\times d_k$ | 均值转移、过程噪声协方差 |
| $r_t$ | 正标量，每头 | value 观测噪声方差 |
| $\kappa_t$ | $\mathbb R^{d_k}$ | 残差写入方向与强度 |
| $p_t,b_t$ | 正向量、正标量 | 对角、各向同性不确定性状态 |
| $\mu$ | 正标量 | 写入后精度增量的缩放 |

模型把每个 value 通道看成独立高斯列，并让所有列共享 key 空间协方差。因此 $P_t$ 不是整个 $\operatorname{vec}(S_t)$ 的任意协方差；后者被限制成 $I_{d_v}\otimes P_t$。这些量属于学习到的特征空间，没有论文赋予的物理单位。（Eq.(7)，p.4。）

状态与观测模型为：

$$
\widetilde S_t=D_t\widetilde S_{t-1}+W_t,
\qquad W_t\sim\mathcal N_{\mathrm{col}}(0,\Omega_t),
$$
$$
v_t=\widetilde S_t^\top k_t+e_t,
\qquad e_t\sim\mathcal N(0,r_tI_{d_v}).
$$

给定输入相关参数，噪声跨时间独立，过程噪声与观测噪声彼此独立，并与初始状态独立。理论初值为 $\mathcal N_{\mathrm{col}}(0,I)$。**最优性是在这套线性高斯假设下对潜在记忆估计的最小均方误差最优，不是语言建模损失的全局最优，也不是对真实语言噪声分布的实证证明。**（Sec.3.1，pp.5–6，Eq.(9)–(11)。）

### 2. 精确滤波：先预测，再按可靠性纠错

先传播均值和协方差：

$$
\widehat S_t=D_tS_{t-1},\qquad
\widehat P_t=D_tP_{t-1}D_t^\top+\Omega_t.
$$

计算创新（innovation）$\delta_t=v_t-\widehat S_t^\top k_t$，再更新：

$$
\kappa_t=\frac{\widehat P_tk_t}{r_t+k_t^\top\widehat P_tk_t},\qquad
S_t=\widehat S_t+\kappa_t\delta_t^\top,
$$
$$
P_t=(I-\kappa_tk_t^\top)\widehat P_t,
\qquad o_t=S_t^\top q_t.
$$

来源：Sec.3.2，pp.6–7，Eq.(12)–(17)。读取使用**本 token 写入后的状态**。

写得多不多取决于当前 key 方向的预测方差与观测噪声之比。定义

$$
z_t=k_t^\top\widehat P_tk_t,\qquad
\beta_t^{\mathrm{eff}}=k_t^\top\kappa_t=\frac{z_t}{r_t+z_t}.
$$

它是当前 key 下残差被消除的比例，位于 $[0,1)$；不是 token 的概率或模型回答的置信度。（Appendix B，pp.21–22，Eq.(58)–(61)。）

**教学例子，非论文实验：**令一维 $k=1,r=1$，预测方差为 9 时，增益为 0.9；预测方差为 0.1 时，增益约为 0.0909。相同残差在第二种情形下只引起很小的修正。若 $D=1,\Omega=0$ 且初始方差为 1，重复等噪声观测会使方差变成 $1/(n+1)$；存在过程噪声时，新的不确定性会不断注入，不能断言置信度永远单调提高。

Appendix A.1（pp.19–20）的证明先对高斯联合分布条件化，再把任意增益的估计误差写成“Kalman 误差 + 非负平方项”，得到唯一最优增益。这里只需读懂高斯条件均值与配方，不需要把整个网络当成一个可精确求解的概率模型。

### 3. Delta-rule 如何成为特例

省略协方差递推，并用 $\widehat P_t\approx\widehat b_tI$，则

$$
\kappa_t\approx\frac{\widehat b_t}{r_t+\widehat b_t\|k_t\|^2}k_t
=\beta_tk_t.
$$

再选择不同的 $D_t$，便得到上文三个 Delta-rule 模型。KDN 保留的是显式的不确定性递推和它导出的 gain；Isotropic KDN 虽然仍有标量 $\beta_t$，却并未退回独立预测门。（Sec.3.3，pp.7–8，Eq.(18)–(20)。）

### 4. Diagonal KDN：投影的是概率分布

精确滤波必须携带稠密 $d_k\times d_k$ 协方差，而且增益依赖先前协方差，直接放进常用线性注意力扫描并不方便。作者约束 $D_t$、$\Omega_t$、保留的 $P_t$ 为对角形式，得到：

$$
\widehat p_t=\alpha_t^2\odot p_{t-1}+\omega_t,
\qquad
\kappa_t=\frac{\widehat p_t\odot k_t}{r_t+\sum_i\widehat p_{t,i}k_{t,i}^2}.
$$

即使预测协方差是对角的，观测后的精确协方差仍通常是稠密的：

$$
P_t^\star=\left(\widehat P_t^{-1}+\frac{k_tk_t^\top}{r_t}\right)^{-1}.
$$

作者以反向 KL（reverse KL）将单步精确后验投影到对角高斯族：

$$
q_t=\arg\min_{q\in\mathcal Q_{\mathrm{col}}}
\operatorname{KL}\!\left(q\,\|\,\mathcal N_{\mathrm{col}}(S_t^\star,P_t^\star)\right).
$$

结果是

$$
S_t=S_t^\star,\qquad
p_{t,i}=\left(\widehat p_{t,i}^{-1}+\frac{k_{t,i}^2}{r_t}\right)^{-1}.
$$

来源：Sec.4.1，pp.8–9，Eq.(23)–(30)；证明见 Appendix A.2，p.21。

关键点是 $p_i=1/(P_t^{\star-1})_{ii}$，**并不是把 $P_t^\star$ 的非对角元直接设为零**。证明中对角方差的目标是 $\sum_i(\Lambda_{ii}^\star p_i-\log p_i)$，一阶条件立即给出上述结果。均值保持精确只对“当前保留的对角先验”成立；前一步丢掉的相关性会影响未来步骤，不能据此声称整条轨迹等同精确 Kalman。

![图 1：预测、精确后验与对角变分投影](figures/approximate.png)

原图 Fig.1，PDF p.5，复用作者矢量图并转为 PNG。按左到右阅读：转移传播对角先验；当前 key-value 观测产生带相关性的稠密后验；投影保留单步均值、压缩协方差。图中星号表示给定当前先验的精确单步后验。

### 5. 信息缩放：保护未来写入，并非增强当前观测

对角近似会丢掉共同 key 方向的相关性。反向 KL 可在单个坐标上过度自信，却在已观测的组合方向上留下过大方差；这两种现象不矛盾。Appendix B 给出的均匀能量例子为：$m$ 个活跃通道上 $k_i^2=1/m$、预测方差均为 $p$，则

$$
V_{\mathrm{exact}}=\frac{rp}{r+p},\qquad
V_{\mathrm{proj}}=\frac{mrp}{mr+p}.
$$

$m>1$ 时后者更大，重复同一 key 会写得过猛。作者将写入后的精度增量放大：

$$
u_t=\frac{\mu}{r_t}k_t\odot k_t,\qquad
p_t=\frac{\widehat p_t}{1+u_t\odot\widehat p_t}.
$$

此时 $V_{\mathrm{proj}}(\mu)=mrp/(mr+\mu p)$；在上述受限例子中，$\mu=m$ 匹配精确方向方差，满支撑均匀 key 对应 $\mu=d_k$。这不是任意 key 上的普适等价定理。（Eq.(60)–(65)，p.22。）

**教学数值例子：**$m=128,p=r=1$ 时，精确方向方差为 0.5，未缩放投影约为 0.9922；使用 $\mu=128$ 后恢复为 0.5。该匹配仍没有恢复原本完整的跨通道相关结构。

更新顺序决定了因果含义：先用 $\widehat p_t$ 算 $\kappa_t$ 并更新 $S_t$，再用 $\mu$ 更新供下一步使用的 $p_t$。因此在保持当前预测先验不变时，单独改 $\mu_t$ 不改变当前写入，只改变后续 gain；若从序列起点就更换全局 $\mu$，后面各步的先验当然已变。

$\mu=1$ 才是前述原始单步模型的严格 reverse-KL 方差解；主实验 $\mu=d_k$ 是额外的保护性修正。不能把整个实际算法笼统称为未经修改的最优贝叶斯滤波。

### 6. Möbius scan：把依赖历史的增益先算出来

对每个通道，缩放后的递推是分式线性变换：

$$
p_{t,i}=\frac{\alpha_{t,i}^2p_{t-1,i}+\omega_{t,i}}
{u_{t,i}\alpha_{t,i}^2p_{t-1,i}+1+u_{t,i}\omega_{t,i}}.
$$

令

$$
M_{t,i}=\begin{bmatrix}
\alpha_{t,i}^2&\omega_{t,i}\\
u_{t,i}\alpha_{t,i}^2&1+u_{t,i}\omega_{t,i}
\end{bmatrix},\qquad
\begin{bmatrix}n_{t,i}\\d_{t,i}\end{bmatrix}
=M_{t,i}\begin{bmatrix}n_{t-1,i}\\d_{t-1,i}\end{bmatrix},
\quad p_{t,i}=n_{t,i}/d_{t,i}.
$$

矩阵乘法满足结合律，所以可以按时间顺序做前缀扫描；结合律不允许交换 token 顺序。得到所有 $p_{t-1}$ 后算 gain，再做

$$
S_t=A_tS_{t-1}+B_t,
\quad A_t=(I-\kappa_tk_t^\top)D_t,
\quad B_t=\kappa_tv_t^\top
$$

的仿射记忆扫描。（Eq.(32)–(39)，pp.9–11。）

数学上增益扫描支持 $O(\log T)$ 并行深度。**实际附录实现**先计算块摘要、传递块入口、并行重放块内递推；gain 块长 $C_g=256$，短的跨块 carry pass 仍串行。记忆使用独立的 $C_m\in\{32,64\}$ 和 compact-WY 表示，跨块传递 $S^{\mathrm{in}}$。所以“可结合扫描”不能直接解释为实际 kernel 全程没有串行部分。（Appendix D，pp.26–27。）

数值处理也属于实现的一部分：齐次状态和矩阵可按最大绝对值统一缩放，不改变比值；作者用 FP32 重归一化防止溢出，衰减比值用累计 log-decay 的差计算。memory scan 中 query-write 矩阵保留对角线，确保读的是当前写入之后的状态。

### 7. Isotropic KDN：每头只记一个不确定性

令 $P_t=b_tI$。预测时采用协方差的迹投影，即平均特征值；因为 $D_t$ 仍可逐通道衰减，得到

$$
a_t=\frac1{d_k}\sum_i\alpha_{t,i}^2,
\quad\widehat b_t=a_tb_{t-1}+\omega_t,
\quad\beta_t=\frac{\widehat b_t}{r_t+\widehat b_t\|k_t\|^2}.
$$

观测后采用 isotropic 高斯族上的 reverse KL，保留的是后验协方差特征值的**调和平均**；加入信息缩放后：

$$
u_t=\mu\frac{\|k_t\|^2}{d_kr_t},\qquad
b_t=\frac{\widehat b_t}{1+u_t\widehat b_t},\qquad
\kappa_t=\beta_tk_t.
$$

两个投影不同：预测采用 Frobenius 最近的迹投影，观测后采用 reverse KL。不能简单描述为“每一步把方差平均一下”。当 $\mu=d_k$ 且 key 归一化时，$u_t=1/r_t$。这个标量递推也可写成 $2\times2$ Möbius scan。（Sec.4.2，p.11，Eq.(40)；Appendix C，pp.23–26。）

| 对比项 | 精确 Kalman 记忆 | Diagonal KDN | Isotropic KDN |
| --- | --- | --- | --- |
| 额外不确定性状态/头 | $O(d_k^2)$ | $O(d_k)$ | $O(1)$ |
| 写入方向 | $\widehat P_tk_t$ | $\widehat p_t\odot k_t$ | 与 $k_t$ 平行 |
| 保留跨 key 通道相关性 | 是 | 否 | 否，且不区分通道方差 |
| 常用扫描实现 | 稠密 Riccati 递推不适合直接套用 | 增益扫描 + 非对称 Delta/WY | 标量增益扫描 + KDA 形式 |

这些复杂度指**额外不确定性状态**，不含两种 KDN 都需保留的 $O(d_kd_v)$ 记忆矩阵。固定内存也只指固定模型维度下，纯递归解码状态不随上下文长度增长；训练激活、混合模型的窗口 KV cache 另算。

### 8. 端到端网络中的实际参数

$\alpha_t=\sigma(W_\alpha x_t+b_\alpha)$，$\omega_t=\operatorname{softplus}(W_\omega x_t+b_\omega)$，$r_t=r_{\min}+\operatorname{softplus}(w_r^\top x_t+b_r)$；Isotropic 的 $\omega_t$ 为标量。网络端到端学习这些动态参数，递推本身不需要测试时反向传播。训练可扫描、推理可逐 token 更新，两者对应同一递推。

论文理论框常写 $p_0=1$，但实际训练为每头学习正标量初始协方差 $c_{0,h}I$；还使用 $r_{\min}=0.01$，Diagonal 的 $W_\omega=0$ 初始化使初始过程噪声各向同性。两种主实验变体都用 $\mu=d_k=128$。（Sec.5.1，p.13。）

## 三：实验——比较的到底是什么

### 1. 控制协议

| 配置 | 750M | 1.3B |
| --- | --- | --- |
| 训练数据与 token 数 | FineWeb-Edu，50B | FineWeb-Edu，100B |
| 骨干层数、隐藏维度 | 16 层，2048 | 18 层，2304 |
| KDN recurrent heads | 16 个，维度 128 | 18 个，维度 128 |
| 训练序列长度 | 4K | 4K |
| 全局 batch | 0.5M tokens | 0.5M tokens |
| 混合架构 | 未在主表报告 | 9 层 recurrent + 9 层 2K SWA，交替 |

共同优化：AdamW，峰值学习率 $4\times10^{-4}$，$\beta=(0.9,0.95)$，weight decay 0.1，梯度裁剪 1.0，cosine schedule，前 1% token 预算 warm-up。比较内采用相同数据 seed。纯递归骨干通过调整 FFN 宽度把非 embedding 参数差异控制到 0.03% 内；Mamba-3 也匹配总递归状态大小。参数匹配并不自动意味着 FLOPs、实际精度或 wall-clock 成本相同。（Sec.5.1，pp.11–13。）

![图 3：KDN 层与纯递归/混合骨干](figures/kdn_layer.png)

原图 Fig.3，PDF p.12。左侧区分纯递归与 recurrent/SWA 交替的模型；右侧展示局部特征变换、参数分支及 KDN 更新。它说明控制实验改变的是 mixer，不能据图推断最佳混合比例已经搜索过；作者明确没有开展该比例消融。

### 2. 指标和基线角色

| 评估 | 对象与指标 | 比较时的限定 |
| --- | --- | --- |
| 语言建模 | WikiText、LAMBADA perplexity，越低越好 | 两项数据集分别报告，不能混成一个 PPL |
| 六任务 zero-shot | LAMBADA、PIQA、HellaSwag、WinoGrande、ARC-e、ARC-c；准确率百分数，等权平均 | 平均领先不表示每个任务领先 |
| RULER 合成检索 | S-NIAH-1/2 的 1K–8K，S-NIAH-3/MK-NIAH-1 的 1K–4K，共 14 单元 | 每单元 500 样本；本文修改了上下文采样协议 |
| 真实世界检索 | SWDE、SQuAD、FDA、TriviaQA、NQ、DROP；cloze 格式准确率及六任务等权平均 | 输入限 2K；不是 32K/更长文档检索 |
| 运行吞吐 | 单层 mixer tokens/s/GPU，越高越好 | 单 H200；不是端到端服务吞吐或单 token 延迟 |

DeltaNet/GDN/KDA 检查从残差纠错到门控衰减的演进；Mamba-3 SISO/MIMO 比较不同 SSM；GDN-2 是更强的写擦解耦基线。1.3B 的 Transformer 基线使用 **2K sliding-window attention**，不能把结果解释为胜过任意全注意力 Transformer。

RULER 使用 25-word 上下文增量和确定性随机 essay 窗口，替换 500-word 增量与固定前缀；所有模型共享匹配的 key、value、needle 深度和样本。内部比较受控，但不能未经校准地和标准 RULER 榜单混排。（Table 2 caption，p.13。）论文未报告多训练 seed 的均值、方差或显著性检验；也未给出此处所需的全部 tokenizer/评估 harness 版本细节，本笔记不按惯例补齐。

## 四：结果——按原文的证据链阅读

### 1. 语言建模与常识推理：纯递归组一致改善，幅度有限

下表从 Table 1（p.12）选取关键行；Wiki./LMB. 为 PPL，Avg. 为六任务准确率（%）。

| 设置 | 模型 | Wiki. ↓ | LMB. ↓ | Avg. ↑ |
| --- | --- | ---: | ---: | ---: |
| 750M/50B，纯递归 | KDA | 18.85 | 15.06 | 53.87 |
| 同上 | Mamba-3 MIMO | 18.99 | 15.67 | 54.39 |
| 同上 | Isotropic KDN | **18.42** | 14.68 | 54.41 |
| 同上 | Diagonal KDN | 18.64 | **14.15** | **54.97** |
| 1.3B/100B，纯递归 | KDA | 15.40 | 10.09 | 60.28 |
| 同上 | Mamba-3 MIMO | 15.63 | 10.49 | 59.85 |
| 同上 | Isotropic KDN | 15.30 | 9.98 | 60.35 |
| 同上 | Diagonal KDN | **15.04** | **9.75** | **60.45** |
| 1.3B/100B，混合 | KDA + SWA | 15.08 | 10.81 | 59.94 |
| 同上 | Isotropic KDN + SWA | **14.98** | 10.90 | 59.38 |
| 同上 | Diagonal KDN + SWA | 15.10 | **10.41** | **60.11** |
| 1.3B/100B，注意力 | Transformer，2K SWA | 16.67 | 13.10 | 56.23 |

750M Diagonal 相对 KDA：均分 **+1.10 个百分点**，LAMBADA PPL 减少 0.91（约 6.04% 相对下降）。相对该规模最强的非 KDN 平均分基线 Mamba-3 MIMO，则是 **+0.58 个百分点**，不能把 +1.10 写成“对最佳基线”的增益。

1.3B Diagonal 相对 KDA：均分 **+0.17 个百分点**，WikiText PPL 减少 0.36（约 2.34% 相对下降）。没有多 seed 误差条，不能据这 0.17 点声称统计显著。

混合组则需要逐指标看：Diagonal + SWA 的平均分最好，但 WikiText PPL 15.10 略差于 KDA + SWA 的 15.08；Isotropic + SWA 的平均分 59.38 也低于 KDA 的 59.94。750M 的 Mamba-3 MIMO 在 HellaSwag、ARC-c 单项仍领先。原文“两个变体一致改善”的强结论适用于纯递归组的三项汇总指标。

### 2. 合成检索：Diagonal 的主要亮点

为明确原文所说的 14-cell aggregate，本次从 Table 2（p.13）对每行 14 个准确率做等权平均。**下面的聚合值是本次计算，原表没有单列 Avg.；它不是完整 RULER 套件分数。**

| 纯递归模型 | 750M/50B，14 单元均分（%） | 1.3B/100B，14 单元均分（%） |
| --- | ---: | ---: |
| DeltaNet | 61.43 | 未报告 |
| Gated DeltaNet | 53.91 | 未报告 |
| KDA | 62.11 | 64.31 |
| Mamba-3 SISO | 52.47 | 63.14 |
| Mamba-3 MIMO | 59.99 | 62.09 |
| GDN-2 | 52.54 | 71.00 |
| Isotropic KDN | 62.36 | 68.66 |
| Diagonal KDN | **70.33** | **76.51** |

Diagonal 相对 KDA 分别约 **+8.21、+12.20 个百分点**；相对各规模最佳非 KDN 基线分别约 **+8.21、+5.51 个百分点**。这些差值按未四舍五入的单元均值计算。

具体到 1.3B：S-NIAH-3 的 2K 单元为 **88.6 vs KDA 77.2**；MK-NIAH-1 的 1K 为 **62.2 vs 47.4**；S-NIAH-1 的 8K 为 **99.8 vs 30.2**。它们支持“更能保护部分关联免受干扰”的解释，但不是每单元都胜出：S-NIAH-2 的 8K，Diagonal 为 **25.8**，低于 GDN-2 的 **28.0**。

混合架构也不是长序列检索的自动改进：Diagonal + SWA 在 S-NIAH-1/8K 为 **28.0**，其纯递归版为 **99.8**；而在 MK-NIAH-1/1K，混合版为 **95.6**，高于纯递归版的 **62.2**。前者说明该混合协议的长上下文表现有明显退化，不能把真实短检索的好处外推到所有长序列单元。4K 以上还超过了预训练上下文长度。

### 3. 真实世界检索：混合带来的提升更大

Table 3，p.14；以下均为 1.3B/100B，输入最多 2K，六任务等权平均准确率（%）。

| 模型 | 纯递归 | + 2K SWA 混合 |
| --- | ---: | ---: |
| KDA | 33.76 | 45.09 |
| Mamba-3 SISO | 31.50 | 42.06 |
| Mamba-3 MIMO | 32.23 | 44.76 |
| GDN-2 | 32.09 | 44.24 |
| Isotropic KDN | 33.40 | **45.94** |
| Diagonal KDN | **34.86** | 45.55 |

Diagonal 在纯递归组相对 KDA **+1.10 个百分点**，FDA、TriviaQA、DROP 三项领先；KDA 的 SQuAD 和 NQ 仍更好。Isotropic 的纯递归均分低于 KDA，却在混合组取得最高均分。这是“较细的不确定性并非所有架构/任务上都更好”的直接证据。

Diagonal 从纯递归到混合 **+10.69 个百分点**，高于同一组中替换 KDA mixer 所获得的增益量级。作者报告所有混合模型均优于对应的纯递归模型。本次分析认为，局部注意力可能补足部分检索能力，但这些结果也提醒我们把 mixer 改善和整体架构改变分开判断。该实验并不验证超长文档检索。

### 4. 信息缩放：机制证据比统一最优参数更清楚

Table 4（p.14）对应 750M/50B Diagonal KDN 设置：

| $\mu$ | WikiText PPL ↓ | LAMBADA PPL ↓ | 六任务 Avg.（%）↑ |
| --- | ---: | ---: | ---: |
| $1$ | 18.69 | 15.51 | 54.12 |
| $\sqrt{d_k}$ | 18.93 | 15.10 | 54.20 |
| $d_k$ | 18.64 | 14.15 | **54.97** |
| $4d_k$ | 18.97 | **13.91** | 54.92 |
| Learned，初始化 $d_k$ | **18.51** | 14.68 | 54.62 |

固定 $\mu$ 增大时 LAMBADA PPL 持续改善，但 WikiText 和六任务均分并不单调。$d_k$ 是折中选择，不是全指标通用最优。

![图 2：有效写入强度分布](figures/kdn_overwrite_distributions.png)

原图 Fig.2，PDF p.10。横轴是 $\beta_t^{\mathrm{eff}}$，纵轴是密度；上排初始化、下排训练 50B tokens 后；从左到右为 KDA 和三种 $\mu$ 的 Diagonal KDN，虚线标均值。各面板纵轴刻度不同，不能通过峰的视觉高度跨面板比较概率质量。训练后 Diagonal 的均值随 $\mu=1,\sqrt{d_k},d_k$ 从 **0.943→0.891→0.826** 下降；仍明显高于 KDA 的 0.675，不能说已完全消除强覆盖。

Appendix B 的 Table 6（p.23）加入 $4d_k$：匹配训练模型的均值为 **0.805**。固定权重干预则从 **0.886→0.873→0.862→0.857** 下降。后者支持直接保护作用，但两套探针分别使用八条 2048-token 序列和独立 4096-token 轨迹，不能横向比较绝对均值；固定权重也不等于固定所有后续隐藏状态。

### 5. 观测/过程噪声消融：学习噪声并非每项都更优

Table 5，p.15；固定 **$\mu=1$**，不能与主实验 $\mu=d_k$ 的差异混为一谈。

| 设置 | WikiText PPL ↓ | LAMBADA PPL ↓ | 六任务 Avg.（%）↑ |
| --- | ---: | ---: | ---: |
| 学习 $r_t,\omega_t$ | 18.69 | **15.51** | **54.12** |
| 固定 $r_t=1$ | **18.46** | 15.72 | 53.77 |
| 两种噪声都固定为 1 | 18.64 | 15.84 | 53.87 |

结果支持“固定噪声没有一致改善”，不支持“学习两项噪声对所有指标都必要”。该表也没有单独固定 $\omega_t$、保持 $r_t$ 可学习的完整析因比较，更没有给出 $\mu=d_k$ 下相同消融。

### 6. 运行效率：保留线性扩展性，但增加开销

![图 4：mixer 吞吐随序列长度变化](figures/mixer_throughput_scaling.png)

原图 Fig.4，PDF p.15。横轴是序列长度 2K–32K；纵轴是每 GPU 每秒 token 数，越高越好。不同曲线表示 mixer；这是状态匹配的 750M 配置、单 H200、batch 4、$d_{\mathrm{model}}=2048$、30 次运行的中位数。论文说明 BF16 配置，同时特注明 Diagonal 使用 FP32/TF32x3。

Isotropic 曲线接近 KDA；Diagonal 因额外扫描更慢，大致接近 GDN-2；Mamba-3 SISO 在长序列端更快。此处 Transformer 使用**全因果注意力**，与质量表中的 **2K SWA Transformer** 不是同一注意力设置。4K 以上只是在测试长度扩展的运行开销，不代表在这些长度验证了语言建模质量。

本图没有表格化原始吞吐数据，本笔记不从曲线编造精确倍率。论文该段未清楚分解前向/反向计时范围，也未报告完整模型训练吞吐、实际显存峰值、prefill/单 token decode 延迟；不把单层结果包装成部署收益。

## 五：结论、适用范围与后续问题

### 1. 可以可靠带走什么

第一，Delta-rule 的残差写入可被放进线性高斯滤波框架，衰减和写入强度由同一个状态估计问题联系起来。第二，对角不确定性具有可扫描的 Möbius 递推，因此加入历史置信状态并不必然破坏高效训练。第三，受控预训练显示这种结构在纯递归组改善了两项 PPL 和六任务均分，Diagonal 尤其改善本文协议下的合成检索。

Sec.6（pp.15–16）还把精确静态、固定噪声极限与预条件 DeltaNet/在线最小二乘联系起来；KDN 的区别在于传播学习到的随机动态，并联合不确定性和观测噪声构造 gain。这是作者给出的定位，本次没有独立复现相关工作。不能把“首次把任何不确定性用于线性注意力”当成本文已证明的创新范围。

### 2. 主要边界

- **概率解释与真实校准分开。** 学到的 $r_t,\omega_t,p_t$ 有模型内的方差含义，但没有可靠性图等实验验证它们是语言事实的校准置信度；不能直接拿来检测幻觉。
- **高效近似仍丢信息。** 对角/标量状态无法保存 key 通道相关性；$\mu=d_k$ 只在特定均匀能量例子下校正某个方向，可能同时过度保护其他方向。
- **收益受任务与架构影响。** 1.3B 六任务均分差距很小，Isotropic 在纯递归真实检索并未超过 KDA，混合模型的部分长序列 NIAH 表现明显下降。
- **统计与规模证据有限。** 两档规模、一个预训练数据源，未报告多 seed 不确定性；不支持直接外推到更大模型、instruction tuning、百万 token 上下文或所有语言。
- **效率有实际代价。** Diagonal 引入额外扫描和更高精度计算。理论可并行性与实际串行跨块传递必须同时考虑。
- **容量上限仍在。** 固定大小矩阵改善的是如何使用既有容量，而不是无限保存历史；模型无法绕过所有关联冲突。

这些限定来自原文报告范围及本次分析，不是额外实验发现。

### 3. 值得继续验证的问题

作者提出把逐通道衰减扩展到类似 Mamba-3 的阻尼旋转，并保持协方差更新可扫描；这是未来工作，不是本文已经完成的模型。（Sec.7，p.16。）

本次分析认为最直接的后续实验是：在主设置 $\mu=d_k$ 下补齐噪声与状态跟踪消融；用多训练 seed 检验 1.3B 的小幅增益；测量端到端训练与解码成本；探索能保留少量相关性的结构化协方差，以及按 key 有效支撑量选择保护强度。但现有材料不足以确定这些方案会优于论文方法。

复述论文时应保留的核心区别是：**KDN 的 gain 来自递推的不确定性；近似让它可计算，信息缩放弥补部分近似误差，最终收益要由各任务分别检验。**

## 交付与可核验资源

- [英文 Beamer 汇报 PDF](slides.en.pdf)，配套 [TeX 源文件](slides.en.tex) 和 [本地编译工具](build_slides.py)。
- [作者 PDF](../source/paper.pdf)、[作者源码清单](../source/tex/manifest.json)、[下载元数据](../source/metadata.json)。
- [RULER 聚合复算记录](build/derived-ruler-means.json)，保留原始 14 个单元值与未舍入均值。
- [质量核验记录](build/quality-check.json)：记录实际编译、页面检查与本地资源检查状态。

图件均来自同版本作者源码，未用生成式图片替代原始结果。幻灯片为独立组织的英文组会报告；其中的教学例子和复算指标均明确标注。