# Complex KDA：理解并增强 Kimi Delta Attention 的表达能力

**论文**：Complex KDA: Understanding and Enhancing the Expressivity of Kimi Delta Attention  
**作者**：Julien Siems、Riccardo Grazzi、Korbinian Pöppel、Jaisidh Singh、Arber Zela、Timur Carstensen、Jenia Jitsev、Frank Hutter、Volkan Cevher、Antonio Orvieto、Aaron Klein  
**版本**：arXiv:2609.24797v1，2026-09-21 提交；获取与研读日期：2026-10-08。  
**原文**：[arXiv](https://arxiv.org/abs/2609.24797v1) · [本地 PDF](../source/paper.pdf)  
**作者资源**：[代码](https://github.com/OpenEuroLLM/ComplexKDA) · [模型](https://huggingface.co/collections/openeurollm/complexkda)  
**配套汇报**：[英文幻灯片 PDF](slides.en.pdf) · [可编辑 TeX](slides.en.tex)

## 论文总览

线性循环网络把历史压缩到固定大小的状态里，其能力不仅取决于状态有多大，也取决于每个 token 能对状态施加什么变换。Kimi Delta Attention（KDA）采用“逐通道遗忘门＋一次 delta-rule 更新”，效率很好，但常规参数范围把单步转移的特征值限制在实数轴上。这样可以衰减、投影旧状态，却缺少本文关注的持续相位旋转机制。

本文提出 Complex KDA（CKDA）：同时允许通道门 $\boldsymbol\alpha\in[-1,1]^n$ 和更新率 $\beta\in[0,2]$。负门提供坐标反射，$\beta=2$ 的 delta 更新提供可自由定向的 Householder 反射，两者组合成旋转。**“Complex”指实矩阵可以有复共轭特征值；状态、权重与运算仍然是实数。** 转移依旧是“对角＋秩一”，不需要增加一个 delta 更新或辅助矩阵状态。

最强的理论结论是：CKDA 恰好覆盖全部正交的对角加秩一（diagonal-plus-rank-one，DPR1）转移；单层可追踪与 $SO(3)$ 的任意有限子群同构的群，其中 $A_5$ 需要四维编码与多对一解码。在非扩张、每头有限精确可达状态等条件下，单层仍不能追踪 $S_5$。三层足以处理一般有限群；该构造推广到一般正则语言和有理加权有限自动机（WFA）时，还需放开 $\beta>2$。

实验对理论收益的支持有明确层次：CKDA 在所测 KDA 参数范围组合中更好地外推 $S_3$、$S_4$ 和周期波形；$A_5$ 的常规训练仍失败。语言建模中，与作者匹配的 KDA 对照总体持平，1.3B/100B-token 的平均准确率为 **54.06% 对 54.09%**；融合内核保留约 **96–97%** 的 KDA 吞吐。因此，本论文的主要价值是用很小的结构改动增加可表达的状态演化方式，并给出相应的理论刻画。（Sec. 3–7，PDF pp. 4–11）

## 结构地图

下文页码均为从 1 开始的 PDF 页码，与本版正文印刷页码一致。

| 原文章节 | 在论证中的作用 | PDF 页码与主要证据 |
| --- | --- | --- |
| 1 Introduction | 从高效递归转向状态追踪问题 | pp. 1–2；Fig. 1–2 |
| 2 Background & Related Work | 线性 RNN、delta 更新、旋转模型和形式语言背景 | p. 3 |
| 3 Motivation: From Symmetry to Rotation | 为什么两种范围扩展缺一不可 | p. 4；Eq. (2)–(3) |
| 4 Structure and Spectrum of Complex KDA | 正交 DPR1 刻画、符号与幅度分解 | pp. 5–6；Theorem 1、Proposition 2 |
| 5 State-Tracking Expressivity | 单层群追踪、$S_5$ 下界、三层构造 | pp. 6–7；Theorem 3–5 |
| 6 Experiments | 内核、群任务、音频和语言建模 | pp. 7–10；Fig. 5–10、Table 2 |
| 7 Conclusion | 贡献、优化与结构限制 | pp. 10–11 |
| A Characterization of a CKDA transition | 谱定理、正交刻画及乘积分解的证明 | pp. 19–25；Theorem 6–9、Proposition 10 |
| B State-tracking preliminaries and arithmetic conventions | 追踪定义、解码、精确数域、有限可达性 | pp. 25–29 |
| C Single-layer finite-group expressivity | $S_4$、$A_5$ 构造，仿射归约及 $S_5$ 障碍 | pp. 29–41 |
| D Three-layer simulation of finite and weighted automata | 时钟—缓冲—累加器 | pp. 41–45 |
| E Efficient Implementation of the Signed Gate | 符号吸收、融合及测速口径 | pp. 45–46 |
| F How the key activation affects learning group-word problems | SiLU 带来的优化偏置 | pp. 46–47 |
| G Experimental Details | 初始化、训练和额外语言评测 | pp. 47–50；Table 4–8 |
| H Scaling Law results | 参数—数据网格、拟合及留出验证 | pp. 49–54；Table 9–13 |
| I Additional Experimental Results | 群任务基线、训练曲线及机制统计 | pp. 55–56；Fig. 16–20 |

## 一：动机——固定大小的记忆，能执行哪些状态操作？

### 1.1 状态追踪要求保留操作顺序

考虑不断交换杯子的位置，模型需要在每次输入后输出当前排列。它必须计算

$$
s_t=g_tg_{t-1}\cdots g_1,
$$

其中 $g_t$ 是当前输入的群元素。非交换操作满足 $g_2g_1\ne g_1g_2$，所以只记住每种操作出现了多少次不够。这里的输入字母表包含目标群的**全部元素**；只输入交换生成元是更弱的任务，不能混用结论。（Sec. 5，PDF pp. 6–7；App. B.1，p. 26）

从几何上看，奇偶性只需在两个状态间翻转；模 $m$ 计数需要沿圆周推进；复杂排列则需要一族能按顺序组合的变换。实矩阵的复共轭特征值对应二维的振荡或旋转模式：若模长接近 1，相位可以持续传播；若模长小于 1，旋转同时衰减。

### 1.2 从 GDN 到 KDA，已有门控还没有充分利用

令 $\mathbf k$ 为单位 key，则 delta 转移为

$$
F_{\beta,\mathbf k}=I-\beta\mathbf k\mathbf k^\top.
$$

在 $\mathbf k$ 方向上，其特征值为 $1-\beta$；其余方向为 1。因此 $\beta=0,1,2$ 分别给出恒等、去掉 key 分量的正交投影、Householder 反射。

| 架构 | 单步转移的主要结构 | 与本文问题有关的特点 |
| --- | --- | --- |
| DeltaNet | $I-\beta\mathbf k\mathbf k^\top$ | 一次秩一更新 |
| Gated DeltaNet（GDN） | $\alpha(I-\beta\mathbf k\mathbf k^\top)$ | 标量门只整体缩放，转移始终对称 |
| KDA | $(I-\beta\mathbf k\mathbf k^\top)\operatorname{Diag}(\boldsymbol\alpha)$ | 每个通道独立门控，但非负门仍只有实谱 |
| DeltaProduct$_2$ | 两个广义 Householder 因子的乘积 | 两次自由反射可构造平面旋转 |
| CKDA | KDA 结构，门与 $\beta$ 同时扩展范围 | 用已有通道门承担其中一次反射 |

CKDA 的设计问题可以表述为：**能否把 KDA 已经支付成本的逐通道门控，变成可用于旋转的结构？** 两项参数范围扩展分别已有先例；本文的贡献在于组合两者、解释其几何含义，并建立表达能力与实现方法。（Sec. 1–3，PDF pp. 1–4）

## 二：方法——用有符号门和一次 delta 更新组合出旋转

### 2.1 一次 CKDA 更新的输入、计算与输出

论文使用左乘列状态的约定。一个 head 的更新是

$$
\begin{aligned}
H_t&=A_tH_{t-1}+B_t,\\
A_t&=(I-\beta_t\mathbf k_t\mathbf k_t^\top)
       \operatorname{Diag}(\boldsymbol\alpha_t),\\
B_t&=\beta_t\mathbf k_t\mathbf v_t^\top,\\
\mathbf o_t&=H_t^\top\mathbf q_t.
\end{aligned}
$$

| 符号 | 维度 | 含义 |
| --- | --- | --- |
| $H_t$ | $n\times d_v$ | 递归记忆矩阵 |
| $\mathbf k_t,\mathbf q_t$ | $n$ | 写入/擦除方向、查询方向 |
| $\mathbf v_t$ | $d_v$ | 写入的目标 value |
| $\boldsymbol\alpha_t$ | $n$ | 对状态行的通道门 |
| $\beta_t$ | 标量 | delta 更新强度 |
| $\mathbf o_t$ | $d_v$ | head 的读出 |

$\|\mathbf k_t\|_2=1$，CKDA 的理论范围是 $\boldsymbol\alpha_t\in[-1,1]^n$、$\beta_t\in[0,2]$。key、query、value 与门由当前层输入映射而来；线性指的是对历史状态的依赖，输入映射和层间网络可以非线性。（Eq. (1)，PDF p. 3；App. B.2，pp. 26–27）

把更新拆开更容易看清计算顺序：

$$
\begin{aligned}
G_t&=\operatorname{Diag}(\boldsymbol\alpha_t)H_{t-1},\\
\mathbf e_t&=\mathbf v_t-G_t^\top\mathbf k_t,\\
H_t&=G_t+\beta_t\mathbf k_t\mathbf e_t^\top.
\end{aligned}
$$

先门控旧记忆，再计算当前 key 下的预测误差，最后用秩一写入修正该误差。这个等价展开是教学解释，保留了原文的乘法顺序；交换门控与 delta 更新通常会改变结果。

### 2.2 为什么只扩大一个范围不够？

写 $D=\operatorname{Diag}(\boldsymbol\alpha)$，$A=F_{\beta,\mathbf k}D$。两个因子各自对称，但乘积不一定对称，因为

$$
(F_{\beta,\mathbf k}D-DF_{\beta,\mathbf k})_{ij}
=\beta k_i k_j(\alpha_i-\alpha_j).
$$

**标量门没有这个自由度。** 当 $D=\alpha I$ 时两个因子总是交换，$A$ 对称，谱为实数。即使让标量 $\alpha$ 变负，也只是整体翻转。

**非负逐通道门仍不足以产生复谱。** 当 $D\succ0$ 时，

$$
D^{1/2}AD^{-1/2}=D^{1/2}F_{\beta,\mathbf k}D^{1/2}
$$

是对称矩阵，因此 $A$ 只有实特征值；零门可用连续性处理。非对称本身并不保证复特征值。

**只允许负门、仍令 $\beta\le1$ 也不足。** 此时 $F_{\beta,\mathbf k}$ 半正定；当它正定时，用类似相似变换又得到对称矩阵，$\beta=1$ 的退化情形也保持实谱。（Sec. 3，PDF p. 4；Theorem 8，App. A.3，pp. 22–23）

| 通道门范围 | $\beta$ 范围 | 单步可出现非实特征值？ |
| --- | --- | --- |
| $[0,1]$ | $[0,1]$ | 不可 |
| $[0,1]$ | $[0,2]$ | 不可 |
| $[-1,1]$ | $[0,1]$ | 不可 |
| $[-1,1]$ | $[0,2]$ | 可以，仍需具体参数满足条件 |

“两个范围都开放”提供可能性，并不意味着每次更新都在旋转。例如门的符号全部相同，或 key 未跨越异号通道时，仍可只有实谱。

### 2.3 两次反射如何变成旋转？

取

$$
\mathbf k=(\cos\theta,\sin\theta)^\top,\qquad
\beta=2,\qquad D_\alpha=\operatorname{Diag}(\alpha,1).
$$

直接相乘得到原文 Eq. (2)：

$$
A_{\alpha,\theta}=
\begin{pmatrix}
-\alpha\cos 2\theta&-\sin 2\theta\\
-\alpha\sin 2\theta&\cos 2\theta
\end{pmatrix}.
$$

其特征多项式判别式为

$$
\Delta=(1-\alpha)^2\cos^2(2\theta)+4\alpha.
$$

$\Delta<0$ 时出现复共轭对，且

$$
|\lambda|=\sqrt{\det A_{\alpha,\theta}}=\sqrt{-\alpha}.
$$

所以 $\alpha$ 从负的小幅度接近 $-1$ 时，复特征值可向单位圆移动。在 $\alpha=-1$ 时，

$$
A_{-1,\theta}=
\begin{pmatrix}
\cos 2\theta&-\sin 2\theta\\
\sin 2\theta&\cos 2\theta
\end{pmatrix}=R_{2\theta}.
$$

门 $D_{-1}$ 是坐标反射，$I-2\mathbf k\mathbf k^\top$ 是另一面反射；反射面的夹角为 $\theta$，组合后的旋转角为 $2\theta$。（Sec. 3，PDF p. 4；Fig. 1–2，p. 2）

![两次反射组成一次旋转](figures/fig-01-two-reflections.png)

原文 Fig. 1，PDF p. 2，保留原图标签。读取顺序从左到右：初始向量、坐标反射、Householder 反射、最终旋转。

一个可直接手算的例子是 $\mathbf k=(1,1)^\top/\sqrt2$：

$$
\left(I-2\mathbf k\mathbf k^\top\right)
\begin{pmatrix}-1&0\\0&1\end{pmatrix}
=
\begin{pmatrix}0&-1\\-1&0\end{pmatrix}
\begin{pmatrix}-1&0\\0&1\end{pmatrix}
=
\begin{pmatrix}0&-1\\1&0\end{pmatrix}.
$$

反复应用便得到 $(1,0)\to(0,1)\to(-1,0)\to(0,-1)\to(1,0)$，可以记录模 4 的相位。该教学展开对应原图的 $90^\circ$ 构造。

![有符号逐通道门与标量门的谱对比](figures/fig-02-spectrum.png)

原文 Fig. 2，PDF p. 2。每个面板横轴为 $\operatorname{Re}\lambda$、纵轴为 $\operatorname{Im}\lambda$，颜色表示 key 角度 $\theta$；各列改变 $\alpha$。上排的逐通道门在 $\alpha<0$ 后可离开实轴，下排标量门始终留在实轴。

### 2.4 增强表达能力为何仍能保持非扩张和线性成本？

因为 key 归一化，$\beta\in[0,2]$ 时

$$
\|I-\beta\mathbf k\mathbf k^\top\|_2\le1,
\qquad
\|D\|_2=\max_i|\alpha_i|\le1,
$$

所以

$$
\|A_t\|_2\le1,\qquad
\|A_tA_{t-1}\cdots A_1\|_2\le1.
$$

这保证给定同一输入序列时，齐次状态传播不放大初始状态差异。它不限制持续加性写入带来的状态增长，也不等于整个训练过程的梯度有界。（App. A、C.6，PDF pp. 19–25、41；以上范数展开为教学推导）

结构上，

$$
A_t=D_t-\beta_t\mathbf k_t(\mathbf k_t^\top D_t)
$$

仍是对角加秩一。实际更新无需构造 $n\times n$ 的稠密 $A_t$，每步每头成本保持 $O(nd_v)$、状态大小保持 $O(nd_v)$；序列长度增加不会令递归状态随之增长。原有分块并行算法还可以通过下面的符号变换复用。

### 2.5 实际参数化、初始化和 key 激活

理论区间允许零门与端点，实际参数化则使用下限 $\epsilon=e^{-5}$：

$$
\begin{aligned}
r&=2\sigma(a)-1=\tanh(a/2),\\
s&=\begin{cases}+1,&r\ge0,\\-1,&r<0,\end{cases}\\
\alpha&=s\,[\epsilon+(1-\epsilon)|r|],\\
g&=\log|\alpha|\in[-5,0],\qquad
\beta=2\sigma(b).
\end{aligned}
$$

这样可以继续在 FP32 中存储对数幅度。门在 $a=0$ 处有跳跃，反向传播停止 sign 的梯度，并对绝对值在零点取 0 作为次梯度。有限 preactivation 下的 sigmoid 只能接近理论构造所用的 $\beta=2$、$|\alpha|=1$；实践中的长程保持是近似行为。（App. E，PDF p. 45）

初始化有三种相关选择：

- **standard**：$\alpha=+\exp(-d_t)$，初始为正且靠近 1。
- **gate spread**：保持初始幅度，独立翻转约一半通道的符号。
- **beta spread**：不同 head 加相反偏置，使 $\beta$ 分布出现约 0.5 和 1.5 两个峰。

SiLU 的输出下界约为 $-0.2785$，再做 $\ell_2$ 归一化，会给 key 方向带来优化偏置，但所有单位方向仍可达。作者在 KDA 群任务中移除相关 SiLU，并在语言建模中做消融。附录基线中，去掉 SiLU 改善了展示的 $A_5$ 结果，却没有一致改善 $S_4$，因此其作用依赖任务。（App. F–G.1，PDF pp. 46–47；Fig. 16，p. 55）

### 2.6 符号吸收：如何复用只处理正幅度的 KDA 内核？

把门拆为 $S_tD_t$，其中 $S_t$ 是对角符号矩阵，$D_t=\operatorname{Diag}(|\boldsymbol\alpha_t|)$。定义累计符号

$$
P_t=S_1S_2\cdots S_t,\qquad
\widetilde H_t=P_tH_t,\qquad
\widetilde{\mathbf k}_t=P_t\mathbf k_t,\qquad
\widetilde{\mathbf q}_t=P_t\mathbf q_t.
$$

对角符号矩阵满足 $P_t^{-1}=P_t^\top=P_t$，因此原递归等价于

$$
\begin{aligned}
\widetilde H_t
&=(I-\beta_t\widetilde{\mathbf k}_t
                  \widetilde{\mathbf k}_t^\top)
 D_t\widetilde H_{t-1}
 +\beta_t\widetilde{\mathbf k}_t\mathbf v_t^\top,\\
\mathbf o_t&=\widetilde H_t^\top\widetilde{\mathbf q}_t.
\end{aligned}
$$

内核只看非负的 $D_t$，key 和 query 吸收历史符号。恢复原状态时使用 $H_t=P_t\widetilde H_t$。符号翻转保持向量范数，所以它能和 key/query 归一化及反向梯度写回融合。（Lemma 27，App. E，PDF pp. 45–46）

这不说明普通 KDA 具有同样表达能力：这里变换后的 key/query 包含累计历史符号，已不只是普通 KDA 的当前 token 局部投影。这是实现等价的坐标变换。

作者提供 compiled PyTorch 的 gauge 路径、Triton 融合路径，以及 Triton 符号处理配合 TileLang WY 反向内核的混合路径。后者并非全 TileLang 实现。

## 三：理论分析与验证——单步谱结构怎样限制整段状态追踪？

### 3.1 CKDA 覆盖所有正交 DPR1 矩阵

Theorem 1 表明，若

$$
A=D+\mathbf u\mathbf v^\top,\qquad A^\top A=I,
$$

且 $D$ 为实对角矩阵，则一定存在单位向量 $\mathbf k$ 和符号对角矩阵 $S$，使

$$
A=(I-2\mathbf k\mathbf k^\top)S.
$$

右侧正是 CKDA 的正交端点。因此，将秩一项进一步放宽为任意非对称 $\mathbf u\mathbf v^\top$，也不会增加**正交 DPR1 转移**的集合；这不是对所有非正交 DPR1 动力学作等价断言。（Theorem 1，PDF p. 5；完整证明 Theorem 6，pp. 20–21）

证明的关键链条是：

1. 正交矩阵的对应行、列范数都为 1，比较后得到 $|v_i|=c|u_i|$。
2. 选择列符号翻转 $S$，令 $S\mathbf v=-c\mathbf u$，从而 $Q=AS$ 对称且正交。
3. 对任意向量 $\mathbf x$，研究位移 $\mathbf r=\mathbf x-Q\mathbf x$。利用 $Q^2=I$ 和 DPR1 结构，可证明所有位移都沿同一个方向。
4. 非恒等的对称正交变换若只沿一个方向改变向量，就是 Householder 反射，得到所需分解。

### 3.2 每步至多一个旋转平面，但要区分两种谱结论

把完整转移拆为

$$
A=\widetilde A\operatorname{Diag}(|\boldsymbol\alpha|),
\qquad \widetilde A=(I-\beta\mathbf k\mathbf k^\top)S.
$$

将 key 分解到正、负符号子空间：

$$
\mathbf k=\mathbf k_-+\mathbf k_+,\qquad
\|\mathbf k_-\|=\cos\theta,\quad
\|\mathbf k_+\|=\sin\theta.
$$

若两部分均非零，$\widetilde A$ 在它们张成的二维子空间上为

$$
B(\beta,\theta)=
\begin{pmatrix}
\beta\cos^2\theta-1&-\beta\sin\theta\cos\theta\\
\beta\sin\theta\cos\theta&1-\beta\sin^2\theta
\end{pmatrix};
$$

其余方向只是 $\pm1$。$\beta=2$ 时该块是 $R_{2\theta}$，复谱条件为

$$
\beta^2\cos^2(2\theta)<4(\beta-1).
$$

这里的二维块结论直接针对 $\widetilde A$。坐标幅度缩放一般不保持该二维子空间，不能直接把此块当作完整 $A$ 的全部谱分析。（Proposition 2，PDF p. 6；App. A.2，pp. 21–22）

完整 $A$ 的“至多一对非实特征值”由 Theorem 8 单独证明：当 $\beta>1$ 时，可以把 $A$ 相似变换到 $J M$ 的形式，其中 $M$ 对称、$J=\operatorname{Diag}(-1,1,\ldots,1)$。非实谱对应的不定内积零子空间只能使用唯一的负方向，所以其上半平面广义特征子空间至多一维，按代数重数计至多一对复共轭特征值。（PDF pp. 22–23）

Theorem 9 的对象更广：任意非扩张的 $D+R$，若 $\operatorname{rank}R\le r$，则**单位圆上**至多有 $r$ 对非实特征值。因为

$$
\operatorname{rank}(A-A^\top)\le2r,
$$

而每对不衰减的复特征值贡献两个独立方向。对一般 DPR1，这个结论只约束单位圆上的持续旋转；CKDA 的专门定理则约束全部非实特征值。（PDF p. 24）

### 3.3 多步乘积可以突破单步的限制

Proposition 10 给出 $n$ 维矩阵的因子数上界：

| 目标矩阵 | 所需 CKDA 因子数上界 | 主要构造 |
| --- | --- | --- |
| 任意正交矩阵 | $\max\{1,n-1\}$ | Householder QR，把符号对角吸收进最后一因子 |
| 任意非扩张矩阵 | $\max\{1,2n-2\}$ | SVD 的左右正交部分，加中间对角缩放 |

正交上界是紧的：$n$ 循环置换矩阵与任意对角矩阵之差至少秩 $n-1$，而 $m$ 个 CKDA 因子的乘积只能保证“对角＋至多秩 $m$”。因此至少需要 $n-1$ 个因子。（App. A.5，PDF pp. 24–25）

这些因子数刻画的是一个目标变换的分解成本；不能把“多个 CKDA 转移可以实现”理解为“一个 token 的一次更新即可实现”。

### 3.4 单层群追踪：实现与解码追踪是两种要求

论文区分：

- **实现（realization）**：每个群元素对应唯一的矩阵，且矩阵乘法忠实保持群乘法。
- **追踪（tracking）**：隐藏矩阵可以不唯一，只需固定解码器始终恢复正确群元素。

构造通常取 $H_0=I_d$、加性写入为零，并允许足够表达力的前馈解码器。这里的 $d$ 是转移矩阵的维度；$d=4$ 的构造使用 $4\times4$ 隐藏矩阵，不能解释成只存四个标量。（App. B.2–B.3，PDF pp. 26–28）

| 群族 | 一个 head 的充分维度 | 结论与几何 |
| --- | --- | --- |
| $\mathbb Z_m$ | 2 | 圆周旋转，实现模加法 |
| $D_m$，含 $S_3\cong D_3$ | 2 | 平面旋转与反射 |
| $A_4,S_4$ | 3 | 四面体/立方体旋转，重新选择坐标方向 |
| $A_5$ | 4 | 四维提升，多对一解码追踪 |

这是 Theorem 3 的具体展开（PDF pp. 6–7）。$D_m$ 在本文表示有 $2m$ 个元素的二面体群；$A_5$ 有 60 个元素，$S_5$ 有 120 个元素。

**$S_4$ 为什么只需三维？** 除恒等与半周旋转外，一个三维旋转能写成 signed Householder，当且仅当其旋转轴至少有一个零坐标。标准朝向立方体的体对角轴不满足这个条件，但把整个立方体绕第三轴旋转 $45^\circ$ 后，全部相关轴都落入某个坐标平面。因而立方体的旋转群 $S_4$，及其子群 $A_4$，都能实现。（Proposition 13、15，PDF pp. 29–31）

**$A_5$ 为什么需要另一种编码？** 二十面体有 6 条五阶轴、10 条三阶轴；任意过中心平面最多包含其中 4 条，三个坐标平面最多覆盖 12 条，无法覆盖 16 条。论文进一步证明，即使允许多对一解码，三维有限状态 signed-Householder tracker 仍不能绕过该障碍。（Lemma 16、Theorem 17，PDF pp. 32–33）

四维构造为输入旋转 $R_{\mathbf u,\theta}\in SO(3)$ 选择

$$
\mathbf a=
\begin{pmatrix}\cos(\theta/2)\\ \sin(\theta/2)\mathbf u\end{pmatrix},
\qquad
g(R_{\mathbf u,\theta})
=(I_4-2\mathbf a\mathbf a^\top)\operatorname{Diag}(-1,1,1,1).
$$

每个编码转移都是允许的 CKDA 更新。若隐藏矩阵按 $1+3$ 分块为

$$
Q=\begin{pmatrix}c&\mathbf r^\top\\\mathbf s&C\end{pmatrix},
$$

则固定二次解码器为

$$
f(Q)=cC-\mathbf s\mathbf r^\top-C[\mathbf r]_\times,
$$

其中 $[\mathbf r]_\times\mathbf x=\mathbf r\times\mathbf x$。它满足

$$
f(g(R)Q)=R\,f(Q).
$$

所以隐藏矩阵不必等于当前群元素的唯一编码，解码后仍始终得到正确乘积。证明通过 $SO(4)$ 对一组三维反对称矩阵空间的共轭作用建立解码器的乘法保持性；另一个解码器与它共同控制隐藏群大小。对所编码的有限旋转群 $G$，可达矩阵数至多 $2|G|^2$，对 $A_5$ 即 7200。（Proposition 18、Corollary 19，PDF pp. 34–36）

### 3.5 单层 $S_5$ 下界的条件不能省略

Theorem 4 排除的模型同时满足：

1. 每个 head 的转移非扩张：$\|A\|_2\le1$。
2. 每个 head 的每次转移，单位圆上至多一对非实特征值，按代数重数计。
3. 每个 head 在**精确仿射更新**下只有有限多个可达状态。
4. head 的数量有限、彼此独立；允许任意维度、输入相关加性写入及任意联合解码器。
5. 输入可以是 $S_5$ 的全部元素。

证明先把有限可达的非扩张仿射系统归约到某个不变子空间上的正交更新，移去加性项。得到的有限隐藏群通过解码器满射到 $S_5$。然后从五循环及其换位共轭构造两个每头至多旋转一个平面的矩阵；其交换子满足 $C^{10}=I$，但解码后是三循环，十次仍不为恒等，产生矛盾。（PDF p. 7；App. C.5–C.6，pp. 36–41）

这个证明对每个 head 分别使用谱约束，而非错误地假定“多头合起来仍只有一对复特征值”。它同时适用于非扩张的 DeltaProduct$_k$、$k\le3$；在该条件下 DeltaProduct 至少需要四个 Householder 因子才能单层追踪 $S_5$。

**精确有限可达性不同于浮点格式只有有限种位模式。** 四舍五入会改变更新函数，逐步舍入后的更新一般不再是论文分析的精确仿射系统；目标状态有限也不保证隐藏状态有限。例如 $2^{-t}\mathbf e_{s_t}$ 可编码有限目标状态，却有无限多个精确隐藏状态。（App. B.4，PDF pp. 28–29）

正面构造使用固定实代数数域中的精确数值，可包含 $\sqrt3/2$ 等无理数。有限群构造只用有限个精确值；WFA 则允许数值表示的比特长度随输入长度多项式增长。这些算术假设不能直接替换成 BF16 的无限长度正确性。

### 3.6 三层构造节省的是时钟深度

Theorem 5 使用“时钟—缓冲—累加器”：

1. **时钟层**：旋转 $\pi/m$，记录当前位置模 $2m$。
2. **缓冲层**：保存最近 $2m$ 个 token，对前一块的整体转移做有限查表并选择其因子。
3. **累加层**：读取下一块输入的同时，每步施加前一块的一个因子；读出端补上尚未施加的因子和当前块前缀。

例如块长 $m=3$，处理第 4、5、6 个输入时，逐步执行第 1、2、3 个输入合成转移的三个因子。读出补偿保证每个前缀都可恢复，而不是只在块边界输出。（App. D.1–D.2，PDF pp. 41–42）

| 三层处理的对象 | 参数与算术条件 |
| --- | --- |
| 任意有限群词问题 | CKDA 标准理论范围；固定精确 datatype |
| 任意正则语言 | 允许 $\beta>2$；显式 DFA 构造用 $\beta\le3$；固定精确 datatype |
| 任意有理 WFA | 允许非负但无统一有限上界的 $\beta$；固定代数数域上的精确算术、随长度多项式增长的比特数 |

对 $n$ 维目标状态，附录给出置换至多 $n-1$ 因子、显式 DFA 转移至多 $2n-2$ 因子、有理矩阵借助辅助坐标至多 $7n^2+3n$ 因子的构造。放开 $\beta>2$ 后，$1-\beta$ 的绝对值可大于 1，非扩张保证随之失效。（Proposition 25、Theorem 26，PDF pp. 42–44）

相较已有 DeltaNet/GDN 构造，CKDA 把两层时钟压为一层，从四层降到三层。这是充分层数的改进；“一层不行、三层足够”仍留下两层情形，不是最小深度恰为三层的证明。（App. D.5，PDF pp. 44–45）

## 四：实验与结果——哪些能力真正学出来了？

### 4.1 内核吞吐：改动小，但不构成对 DeltaProduct 的普遍速度优势

![前向与反向递归内核吞吐](figures/fig-05-throughput.png)

原文 Fig. 5，PDF p. 7。横轴是 batch × length，每步固定 32,768 个逻辑 token；纵轴为吞吐，单位 ktok/s，越高越好。颜色区分 KDA/CKDA 的 Triton、TileLang 相关实现以及 gauge 与 DeltaProduct$_2$。

测试用 H100、BF16、16 heads，$d_k=d_v=128$。每个形状编译和调优后预热 20 次，每轮计时 50 次，报告四轮平均。融合实现保持约 96–97% 的 KDA 吞吐，对应吞吐下降约 3–4%。（App. E，PDF p. 46）

这个数字针对**前向＋反向递归内核**，不含投影、优化器和最终状态输出。图中的 PyTorch gauge 数据来自较早、没有相同归一化融合的分配，适合作为实现参考。DeltaProduct$_2$ 基线没有遗忘门，每个 token 使用两次更新及两个 value；实测吞吐依旧有竞争力。秩一结构更简洁并不能单独推出端到端训练或解码更快。

### 4.2 群词问题：两项范围扩展组合才显著改善外推

标准实验使用一层、12 heads、每头维度 16；Muon 学习率 $5\times10^{-3}$，batch 1024，训练 60k steps，长度课程为 4、6、8、16、32。每组报告**三种随机种子中最好的一次**，不是均值或置信区间。（App. G.2，PDF p. 47）

纵轴采用 chance-corrected scaled accuracy：

$$
\operatorname{scaled\ accuracy}
=\frac{a-1/|G|}{1-1/|G|},
$$

其中 $a$ 为原始准确率；0 表示随机水平，1 表示全对。测试最长展示到 512，超过 32 的部分检验长度外推。

![群词问题的长度外推](figures/fig-06-state-tracking.png)

原文 Fig. 6，PDF p. 8。三个面板分别是 $S_3$、$S_4$、$A_5$；实线区分 KDA 的四种范围设置，另有 DeltaProduct$_2$ 及理论初始化 CKDA。先看训练长度以上的曲线，再比较不同参数范围。

- **$S_3$**：完整 CKDA 明显优于仅扩展门或仅扩展 $\beta$ 的设置。后两者长长度的 scaled accuracy 接近 0.2，与只区分奇偶性相容。
- **$S_4$**：CKDA 的外推大幅好于其余 KDA 范围设置，但长序列准确率仍下降；图中不是无限长度保持满分。
- **$A_5$**：常规训练未发现所需表示；理论初始化的另一个设置能够外推。

0.2 的含义可以算清：$S_3$ 的六个元素分成大小均为 3 的两个 $A_3$ 陪集；若只知道所在陪集，原始正确率为 $1/3$，于是 $(1/3-1/6)/(1-1/6)=0.2$。这是对作者解释的教学展开，说明“曲线高于零”可能只表示学到了较弱的商群信息。

$A_5$ 的理论初始化用四维单位四元数作为 key、固定初始门 $(-1,1,1,1)$、$\beta\approx2$；模型为 4 heads × 4 维、hidden size 32，其中两个 head 接近理论构造。全部参数仍可训练，使用普通 next-state 交叉熵和 MLP 读出，训练 3k steps，长度课程也不同。它说明表示发现可能是优化障碍，但因为架构与训练日程同步改变，无法把成功完全归因于初始化。（Sec. 6，PDF p. 8；App. G.2，p. 47）

![模型学到的门、更新率及转移谱](figures/fig-07-learned-transitions.png)

原文 Fig. 7，PDF p. 8。面板 (a) 展示各 head 的 $\beta$，(b) 展示第 11 号 head 的门，(c) 是 key 的 PCA 累计解释率，(d) 是特征值复平面。成功 head 的 $\beta$ 接近 2、门接近 $\pm1$，前三个主成分解释约 95% 方差，特征值出现接近单位圆的复共轭对。这支持模型学到了论文所描述的反射—旋转机制。

### 4.3 周期波形：把符号追踪换成连续相位保持

数据来自一个固定的两小节合成 groove：124 BPM、32 个十六分音符 frame，每个 frame 重采样到 64 个波形值。训练样本仅改变 32 种循环相位。输入先提供 8 个 frame，即约 0.97 秒的半小节提示，之后为零；预测一次前向完成，不把输出反馈为下一个输入。（App. G.3，PDF pp. 47–48）

这样，提示之后的递归必须自行保存相位；它测的是同一 groove 的相位识别与延续。KDA 使用一层、hidden size 128、8 heads × 16 维，约 182k 参数；GRU 约 206k，单层因果 Transformer 约 207k。训练 2500 次更新、batch 64、seed 0，最大训练长度 136。

![周期波形延续](figures/fig-08-waveform.png)

原文 Fig. 8，PDF p. 9。左侧展示提示附近及远处窗口的目标/预测波形，横轴有断轴；右侧横轴为序列长度，纵轴为波形 MSE 的对数尺度，越低越好，虚线标注最大训练长度 136。

在四种 KDA 范围设置中，只有同时扩展两项的 CKDA 持续准确延续波形。长度 264 时：

| 模型 | SNR ↑ |
| --- | --- |
| CKDA | 38.1 dB |
| Causal Transformer | 2.8 dB |

SNR 按延续区域的 $10\log_{10}(\mathbb E[y^2]/\mathbb E[(\hat y-y)^2])$ 计算，去掉训练归一化后，对全部 32 种相位、时间步和波形坐标平均。GRU 在本任务的 MSE 更低，说明带状态非线性的递归仍有优势；作者的结果支持 CKDA 在这组线性递归设置中更好地保持周期相位。（Sec. 6，PDF p. 9）

### 4.4 小规模语言建模：收益依赖初始化和评测口径

第一组约 340M 参数，在 Nemotron-CC 上训练 15B tokens，上下文 2048。各模型深度 28、hidden size 768、12 heads；通过缩小 SwiGLU 中间层近似匹配参数量。参数实际为约 341.55M–344.87M。（Table 4，PDF p. 49）

困惑度（perplexity，PPL）是平均 token 负对数似然的指数，越低表示语言预测越好；下游准确率则对指定任务的分数取平均，越高越好。两者分别衡量语言建模损失与具体任务表现，排序可以不同。

| 模型/配置 | 验证 PPL ↓ | 十任务平均准确率 ↑ |
| --- | ---: | ---: |
| Dense Attention | 17.99 | 50.90% |
| DeltaProduct$_2$，表中默认范围 | 18.87 | 48.44% |
| GDN | 18.29 | 49.79% |
| KDA，门与 $\beta$ 均为标准范围 | **17.45** | 51.32% |
| 仅扩展 $\beta$ 的 KDA | 17.55 | 50.58% |
| CKDA，standard 初始化 | 17.74 | 51.10% |
| CKDA，gate spread | 17.49 | **52.30%** |
| CKDA，gate spread、去掉 key SiLU | 17.49 | 51.87% |
| 有符号门、gate spread，但 $\beta\in[0,1]$ | **17.45** | 51.39% |

来源：Table 6 的 Nemotron-CC 区块，PDF p. 50。十任务为 HellaSwag、Winograd、WinoGrande、LAMBADA、COPA、PIQA、ARC-Easy、ARC-Challenge、BBQA-Wiki、OpenBookQA。

最佳 CKDA 配置相对标准 KDA 的平均准确率增加 **0.98 个百分点**，但验证 PPL 为 17.49 对 17.45，略差。standard CKDA 也没有超过标准 KDA，说明扩大参数空间本身不自动兑现全部收益。

Table 6 还单列 FineWeb、45B-token 消融：最佳观察到的 gate spread＋beta spread 配置为 52.21%，对照去掉 key SiLU 的 KDA 为 51.85%，增加 0.36 个百分点；前者验证 PPL 为 17.16，后者为 17.03。这个区块的数据和 token 预算都不同，不能与 15B Nemotron-CC 区块直接比较架构收益。原文表注称该区块为 FineWeb，附录训练描述也提及较小的 FineWeb-Edu 版本，这里保留表内名称。（Sec. 6，PDF p. 9；App. G.4、Table 6，pp. 48–50）

### 4.5 1.3B/100B-token：与配对 KDA 对照基本持平

这一组在 FineWeb-Edu 上训练 100B tokens，Llama-2 tokenizer，上下文 4096，全局 batch 约 0.5M tokens，1B-token warmup 到 $4\times10^{-4}$，然后余弦衰减。CKDA 使用 standard 初始化，并移除 key SiLU。（App. G.4，PDF pp. 48–49）

| 配对模型 | WikiText PPL ↓ | LAMBADA PPL ↓ | 九任务平均准确率 ↑ |
| --- | ---: | ---: | ---: |
| KDA，作者 bounded-gate 对照 | **15.73** | 10.53 | **54.09%** |
| CKDA | 15.78 | **10.08** | 54.06% |
| KDA + attention 3:1 | **15.04** | 9.93 | 53.92% |
| CKDA + attention 3:1 | 15.34 | **9.90** | **54.37%** |

来源：Table 2，PDF p. 9。九任务是 LAMBADA、PIQA、HellaSwag、WinoGrande、ARC-Easy、ARC-Challenge、OpenBookQA、SIQA、BoolQ；不要与 Table 6 的十任务平均混用。

纯递归 CKDA 比配对 KDA 低 **0.03 个百分点**；混合模型高 **0.45 个百分点**，但 WikiText PPL 更差。LAMBADA 上的收益与 WinoGrande 等任务上的退步相抵，最准确的概括是指标存在取舍，平均表现接近。

表中转引的 GDN-2 纯递归平均为 53.11%、转引 KDA 为 52.28%，均低于作者训练的两种对照。作者 KDA 使用 safe sigmoid 门，因此不应把与转引 KDA 的差额全归给 CKDA。

混合架构还存在配方差异：作者用 **3:1 递归/全注意力**，注意力带门且不使用 RoPE；转引基线使用 **1:1 递归/滑窗注意力**。跨这些行的比较包含注意力类型、比例和门的影响。（Sec. 6，PDF pp. 9–10）

三项召回任务也没有一致赢家：

| 配置 | SQuAD ↑ | SWDE ↑ | FDA ↑ |
| --- | ---: | ---: | ---: |
| KDA，作者对照 | 38.17 | **49.59** | 30.40 |
| CKDA | **39.68** | 48.42 | **31.49** |
| KDA + attention 3:1 | **42.69** | **64.81** | **64.79** |
| CKDA + attention 3:1 | 37.77 | 63.91 | 58.89 |

单位为 %，来源同 Table 2。特别是混合 CKDA 的平均常识准确率提升，没有同时带来这三项召回的改善。

### 4.6 RULER 检索：有较大差异，也有指令遵循和表注问题

Table 7 每格为 500 个样本，训练上下文 4K。选取 4K 的作者配对结果：

| 模型 | S-NIAH-1 ↑ | S-NIAH-2 ↑ | S-NIAH-3 ↑ | MK-NIAH-1 ↑ |
| --- | ---: | ---: | ---: | ---: |
| KDA，bounded gate | 94.0 | **97.6** | 9.8 | 26.0 |
| CKDA | **100.0** | 88.6 | **51.0** | **37.0** |
| KDA + attention 3:1 | **100.0** | **99.2** | **95.8** | 63.8 |
| CKDA + attention 3:1 | 81.2 | 83.2 | 86.8 | **94.4** |

单位为准确率 %，来源：PDF p. 50。纯递归 CKDA 的若干指标提高，混合 CKDA 则主要在多 key 任务占优，而单针任务回退。

作者明确观察到，提示中仅增加一个冒号等微小变动就可能大幅改变结果；低分经常来自不回答或重复提示。因此，这组分数同时反映信息提取和指令遵循，不能直接等同于递归记忆容量。（App. G.4，PDF p. 49）

**本版存在影响外推解读的内部矛盾**：Table 7 图注说作者的混合模型只在不超过 4096 tokens 的范围评测，但同表 S-NIAH-1/2 的混合行列出了 8K 数值。这里仅用 4K 混合结果作比较，不据其 8K 单元格推断外推能力。

### 4.7 Scaling：相对 Transformer 有优势，相对 KDA 没有稳定胜出

缩放实验使用 Nemotron-CC 高质量子集、GPT-NeoX-20B tokenizer、4096 上下文，名义模型档位为 47M、124M、302M、588M、983M、1.7B，数据预算为 6B、12B、20B、30B、50B。各架构在每一档固定深度、hidden size 和 head 配置，调节 FFN 宽度以匹配参数量。（Table 5，PDF p. 49；App. H.1，p. 51）

同一档位中，若 batch 和学习率相同，多个预算共享训练主干，并在各自 $0.8D$ 处分支 cooldown；这些端点不是全部独立训练。验证损失在 0.838B tokens 上测量，单位为 nats，越低越好。

![不同规模下相对 Transformer 的验证损失差](figures/fig-09-scaling.png)

原文 Fig. 9，PDF p. 10。每个面板固定模型规模，横轴是训练 token 数 $D$，纵轴是相对含 QK-Norm Transformer 的损失差，**越负越好**。蓝/红分别为 KDA/CKDA，绿/紫为其 3:1 混合版本；灰区表示近似噪声区间。

原始网格支持两点：KDA/CKDA 相对 Transformer 的损失优势较一致；纯递归 KDA 的损失通常略低于 CKDA。最大档位 1.7B/50B 的结果如下：

| 模型 | 验证 loss ↓（nats） | 九任务平均准确率 ↑ |
| --- | ---: | ---: |
| Transformer++ | 2.1630 | 53.08% |
| Transformer++，QK-Norm | 2.1374 | 55.10% |
| KDA | 2.1046 | 56.87% |
| CKDA | 2.1061 | **57.21%** |
| KDA + attention 3:1 | **2.0971** | 56.47% |
| CKDA + attention 3:1 | 2.1002 | 55.82% |

来源：Table 12–13，PDF pp. 53–54。CKDA 对 QK-Norm Transformer 的损失差为 $-0.0313$ nats，对 KDA 则为 $+0.0015$ nats；准确率差分别为 +2.11 与 +0.34 个百分点。这两种指标的排序不完全一致。

作者拟合非可分离的 Skaling 形式：

$$
L(N,D)=E+(AN^{-\alpha_s}+BD^{-\beta_s})^k.
$$

这里用下标 $s$ 区分缩放指数与 CKDA 的门、更新率。拟合采用 Huber 损失、600 次随机起点，比较每架构自由拟合 $E$ 与固定 $E=0.9638$ 两种结果；以 1.7B/50B 作为留出点，其他端点用于拟合。bootstrap 区间描述给定网格和模型形式下的不确定性，不包含已固定的 batch/学习率选择风险。（App. H.1–H.2，PDF pp. 51–52）

自由 $E$ 的留出误差绝对值约为 0.0006–0.0031 nats，CKDA 为 +0.0007 nats，说明该网格内拟合具有较好的预测一致性。固定 $E$ 会改变指数估计，且本文没有覆盖参考工作的 100B/300B-token 大数据档位，因而对更大规模的优势应按趋势理解。作者同样把 CKDA 与 KDA 评价为语言建模表现相当。

小于 302M 的不少任务接近随机水平，低档位平均准确率受 BoolQ、PIQA 等多数类行为影响较大。Table 13 的低档位均值不能与成熟模型的推理能力直接作同等解释。（PDF p. 54）

### 4.8 语言模型确实使用了扩展参数空间

![1.3B CKDA 训练中出现的负门、扩展更新率与复谱](figures/fig-10-lm-mechanism.png)

原文 Fig. 10，PDF p. 10。横轴为已训练的 token 数，纵轴为层号；三个面板依次显示负门比例、$\beta>1$ 比例、含复特征值转移的比例。颜色采用平方根缩放，不能按线性色深估算百分比。

即使 standard 初始化把门置为接近 1 的正值，模型也在训练早期学会使用负门；负门和复特征值最集中于前面几层，而 $\beta>1$ 出现在所有层。附录 Fig. 19–20 展示混合模型与最终层统计。（PDF p. 56）

这些统计表明新增自由度被实际训练利用。它们没有确定具体 token、语言现象或召回操作分别依赖哪种旋转；作者把这种功能层面的机制分析留作后续工作。

## 五：结论与研究启发

CKDA 的核心是**把逐通道门从纯遗忘器扩展为带方向翻转的状态操作**。负门与扩展 $\beta$ 各自不足，组合后却能在原有对角加秩一结构内实现旋转；谱定理和群追踪构造说明，这个小改动带来的是表达类别的变化。

这篇论文同时给出了三个值得保留的边界。第一，CKDA 覆盖全部正交 DPR1，但单步仍只有一个持续旋转平面的容量；增加宽度和独立 head 并不能在给定有限可达条件下解决所有群。第二，可表达性与优化可达性不同，$A_5$ 的普通训练失败是最直接的例子。第三，语言建模配对结果与 KDA 大致相当，吞吐证据限于递归内核；实际价值更接近“以较小代价增加可用动力学”，尚未形成普遍的语言建模优势。

从本文出发，最有针对性的后续问题是：如何在统一架构和训练预算下稳定学到 $A_5$ 的表示；如何量化近单位圆旋转的数值误差累积；以及怎样把这类旋转转移与 GDN-2 的独立写入/擦除门结合。最后一项也是作者提出的方向，作用仍有待实验确定。（Sec. 7，PDF pp. 10–11）