# QED：让 query 参与线性注意力的擦除决策

**论文**：The Query Knows What to Forget: A Second Erase Direction for Linear Attention  
**作者**：Dhruman Gupta、Aritra Das、Debayan Gupta（Truth Audit Labs）  
**版本**：[arXiv:2608.13668v1](https://arxiv.org/abs/2608.13668v1)，提交于 2026-08-13；获取与研读日期：2026-10-30。  
**原文**：[本地 PDF](../source/paper.pdf) · [arXiv PDF](https://arxiv.org/pdf/2608.13668v1)  
**配套**：[英文汇报 PDF](slides.en.pdf) · [可编辑 Beamer 源文件](slides.en.tex)

- **发表**：未查到正式发表信息（截至 2026-10-30）；[arXiv 记录](https://arxiv.org/abs/2608.13668)未列出会议或期刊，arXiv DOI 为预印本标识。
- **代码**：未查到公开代码（截至 2026-10-30）；[论文](https://arxiv.org/abs/2608.13668v1)未提供项目或实现链接。

## 论文总览

固定大小的线性注意力状态需要同时容纳很多历史关联，长上下文中的读取容易受到其他关联干扰。QED（Query-derived Erase Direction，查询派生擦除方向）在 Gated DeltaNet-2（GDN-2）的擦除向量中加入一个由 query 生成、与当前 key 正交的修正项。它让模型根据“当前怎样读取记忆”选择要从旧状态中取走的内容，同时维持一次 rank-one 状态更新。

最关键的机制是：**沿 query 派生方向测量旧状态，再把负的测量值沿 key 写回，通过 query 与 key 的重叠改变当前输出。** 因而，第二个“擦除方向”指的是选择旧内容的方向；状态改动仍沿 key 发生。这个区别解释了为什么 QED 能改变输出，却仍不能直接改变任意 key 正交探针的响应。

在 340M 参数、15B 训练 token、2048-token 训练窗口、两个种子的实验中，完整 QED 在 S-NIAH-1 的 4K、8K、16K、32K 四个外推长度上均优于 GDN-2。最大提升是 seed 1、16K 下的 **38.6 个百分点**（21.2% → 59.8%）；FDA 文档召回分别增加 **3.35、3.73 个百分点**。验证损失和 SQuAD-completion 基本不变。消融最一致地支持“使用 query 生成修正方向”，门控与正交投影各自的收益则随训练种子变化。（Sec. 3、5–6；PDF pp. 3–8）

## 结构地图

下文页码均从 PDF 第一页开始计数，本版与印刷页码一致。

| 原文章节 | 在论证中的作用 | PDF 页码及关键证据 |
| --- | --- | --- |
| 1 Introduction | 固定状态干扰与读写方向不匹配 | pp. 1–2 |
| 2 Background | DeltaNet → GDN → KDA → GDN-2 | pp. 2–3，式 (1)–(4) |
| 3.1 Motivation | 定义 QED 擦除向量 | p. 3，式 (5)–(6) |
| 3.2 The online learning perspective | 分解可编辑响应，推导输出修正 | pp. 3–4，式 (7)–(12) |
| 4.1 Ablation arms | 五个对照实验组 | p. 4，表 1 |
| 4.2 Training and evaluation | 训练预算、任务与推理强度干预 | p. 5 |
| 5.1 Language modelling quality | 是否改变整体语言建模损失 | p. 5，表 2 |
| 5.2 Long-context retrieval | 外推检索 | pp. 5–6，图 1；表 3 在 p. 7 |
| 5.3 Inference-time strength | 固定权重改变修正强度 | pp. 5–6；完整表 4 在 p. 10 |
| 5.4 Document recall | 短文档召回及理解对照 | p. 6，图 3 在 p. 8 |
| 6 Discussion / 6.1 Inference-time strength test | 消融解释、特征值诊断、种子差异 | pp. 6–8，图 2 在 p. 7 |
| 7 Conclusion and Further Work | 贡献及后续实验 | p. 8 |
| A The strength parameter / A.1 Inference-time strength test | 强度参数化与完整干预结果 | pp. 9–10，式 (13)–(15)、表 4 |

## 一：动机——读出的干扰未必由当前 key 选中

### 1.1 固定状态为什么会混入其他记忆

线性注意力把历史信息压缩到 $S_t\in\mathbb{R}^{K\times V}$，读取为 $o_t=S_t^\top q_t$。论文用经过衰减和历史擦除后的等效关联解释该输出：

$$
o_t=\sum_{j\leq t}(q_t^\top\tilde{k}_j)\tilde{v}_j.
$$

这是式 (5)（PDF p. 3）：一次检索不仅返回目标关联，也会返回所有与当前 query 有非零重叠的历史关联。增加上下文长度并不增加状态维度，因此干扰可能累积。这里的“干扰”是围绕目标检索作的解释；旧状态中的非目标内容仍可能对未来读取有用，不能把所有旧内容都当作应删除的数据。

### 1.2 原有改进主要围绕遗忘速率与 key 方向

| 方法 | 相对前一步的变化 | 对当前问题的意义 |
| --- | --- | --- |
| 加法线性注意力 | $S_t=S_{t-1}+k_tv_t^\top$ | 写入新关联，但不先纠正旧关联 |
| DeltaNet | 擦除 key 下的旧值，再写入新值；二者共享 $\beta_t$ | 从累加变成误差修正 |
| GDN | 在 delta 更新前加标量衰减 $\alpha_t$ | 所有状态通道一起遗忘 |
| KDA | 衰减改为逐通道向量 | 不同 key 通道可保留不同时间尺度 |
| GDN-2 | 擦除门 $b_t$ 与写入门 $w_t$ 分离 | 可分别控制删旧与写新，但擦除选择仍由 gated key 给出 |
| QED | 在擦除选择中加入 gated query 的正交分量 | 让读取方向参与决定此次残差 |

这些关系对应 Sec. 2、式 (1)–(4)，PDF pp. 2–3。论文也提到 Erase-then-Delta Attention 已解耦擦除与写入地址；QED 所强调的具体组合是 query 派生、复用擦除门、key 正交约束，以及保留单次 rank-one 更新，而不能把“解耦擦除与写入”本身视作本文独有的创新。

## 二：方法——读取旧内容的方向变了，写回方向仍是 key

### 2.1 先理解 GDN-2 的一次更新

| 符号 | 维度 / 约束 | 含义 |
| --- | --- | --- |
| $S_t,\bar S_t$ | $K\times V$ | 更新后状态、仅做完衰减的旧状态 |
| $q_t,k_t$ | $K$；均做 L2 归一化 | 当前 query 与 key |
| $v_t,w_t$ | $V$；$w_t\in(0,1)^V$ | value 与逐通道写入门 |
| $b_t$ | $K$；$b_t\in(0,1)^K$ | 逐通道擦除门 |
| $g_t$ | $K$ | 对数衰减，$D_t=\operatorname{Diag}(\exp g_t)$ |
| $a_t,d_t$ | $K$ | 总擦除向量、QED 新增方向 |
| $\lambda_h$ | 每层每 head 一个标量 | 新增方向的可学习强度；下标省略了层号 |
| $\rho_t$ | 标量 $q_t^\top k_t$ | query 与 key 的重叠 |

定义 $\bar S_t=D_tS_{t-1}$。GDN-2 的式 (4)、(8) 可以写成：

$$
\begin{aligned}
a_t^{\mathrm{base}}&=b_t\odot k_t,\\
r_t^{\mathrm{base}}&=w_t\odot v_t-\bar S_t^\top(b_t\odot k_t),\\
S_t^{\mathrm{GDN2}}&=\bar S_t+k_t(r_t^{\mathrm{base}})^\top,\\
o_t&=S_t^\top q_t.
\end{aligned}
$$

先遗忘，再按 $b_t\odot k_t$ 读取需要擦除的旧值；把“准备写入的新值减去旧值”作为残差，沿 $k_t$ 写回。虽然 $b_t\odot k_t$ 未必与 $k_t$ 平行，整个状态改动的左因子始终是 $k_t$。（PDF pp. 2–4）

这也是在线学习视角的入口：普通 DeltaNet 可以解释为对 $\frac12\|S^\top k-v\|^2$ 做一次梯度更新，梯度为 $k(S^\top k-v)^\top$。GDN-2 与 QED 则在这一残差形式上增加了选择能力；本文主要给出代数分解，没有为 QED 另行推导一个显式优化目标。

### 2.2 QED 的计算步骤

论文式 (6) 定义：

$$
\begin{aligned}
u_t&=b_t\odot q_t,\\
d_t&=P_{k_t}^{\perp}(u_t)=u_t-k_t(k_t^\top u_t),\\
a_t^{\mathrm{QED}}&=b_t\odot k_t+\lambda_h d_t.
\end{aligned}
$$

投影公式利用了 $\|k_t\|_2=1$。计算顺序是**先门控 query，再投影**；逐通道门控通常不能与正交投影交换。随后仍使用原来的递推：

$$
\boxed{\quad S_t=\bar S_t+k_t\left[w_t\odot v_t-\bar S_t^\top a_t^{\mathrm{QED}}\right]^\top,\qquad o_t=S_t^\top q_t.\quad}
$$

三个设计分别承担不同作用：query 提供与读取相关的内容选择；$b_t$ 控制各通道参与程度；正交投影保持 $a_t^\top k_t$ 不因新增项变化。前两者服务于内容选择，第三者提供明确的代数约束。实验并未证明三个部件各自都必不可少。（Sec. 3.1，PDF p. 3）

### 2.3 为什么 key 正交响应仍不能直接修改

任意一次 $\Delta S=k_tr_t^\top$ 更新，对于探针 $x$ 的响应变化都是

$$
\Delta S^\top x=(x^\top k_t)r_t.
$$

若 $x\perp k_t$，响应变化严格为零。这是式 (9) 的结构性结论，**也适用于 QED**，因为 QED 没有改变左侧的 $k_t$。（PDF p. 4）

将 $q_t=\rho_tk_t+q_t^\perp$，式 (10) 得到

$$
o_t^{\mathrm{GDN2}}
=\rho_t\left[w_t\odot v_t+\bar S_t^\top\bigl((\mathbf1-b_t)\odot k_t\bigr)\right]
+\bar S_t^\top q_t^\perp.
$$

最后一项是从 key 正交部分读出的旧状态内容。QED 不直接改写这个响应，而是在可编辑的 key 分量中加入负的测量值，从总输出中抵消一部分旧内容。

对**相同的输入状态、$q,k,v,b,w,g$**，论文式 (11)–(12) 给出：

$$
\begin{aligned}
S_t^{\mathrm{QED}}-S_t^{\mathrm{GDN2}}
&=-\lambda_hk_t(\bar S_t^\top d_t)^\top,\\
o_t^{\mathrm{QED}}-o_t^{\mathrm{GDN2}}
&=-\lambda_h\rho_t\bar S_t^\top d_t.
\end{aligned}
$$

这三个因子可以分别读作“擦除强度 × 当前可传到 query 的比例 × 被选中的旧内容”。此等式比较的是同一步、共同输入下的两种更新；独立训练模型的完整输出差异还包含其参数与历史状态的变化。

由公式可直接得到几个有助于理解的结论：

- $\rho_t=0$ 时，此步 QED 修正不改变当前输出，但仍可能改变状态，从而影响未来读取。
- 修正是向量减法，并不保证删除的恰好全是干扰；$d_t$ 还可能读到有用内容，$\rho_t$ 也可为负。
- 有逐通道 $b_t$ 时，$d_t$ 一般并非 $q_t^\perp$ 的简单缩放。即使 $q_t=k_t$，$P_{k_t}^\perp(b_t\odot q_t)$ 也未必为零。

以上是对式 (6)、(11)–(12) 的本次推导，不是新增实验结果。

### 2.4 一个二维教学例子

令 $K=2,V=1$，$k=(1,0)^\top$，$q=(0.6,0.8)^\top$，$b=(0.5,0.5)^\top$，$\bar S=(2,3)^\top$，$w\odot v=1$，$\lambda=0.2$。这是为解释机制构造的例子。

基线读取的旧值为 $\bar S^\top(b\odot k)=1$，恰好等于新值，因此基线残差为零，输出为 $3.6$。QED 有

$$
d=(0,0.4)^\top,\qquad \bar S^\top d=1.2,\qquad
\Delta S=(-0.24,0)^\top.
$$

所以新状态为 $(1.76,3)^\top$，输出变为 $3.456$，减少 $0.144=0.2\times0.6\times1.2$。第二个状态坐标没有改变；它读出的内容却参与决定了第一个坐标的修正。这个例子说明“测量方向”与“写回方向”可以不同。

### 2.5 正交投影究竟保留了什么

记擦除因子 $M_t=I-k_ta_t^\top$。它有 $K-1$ 个等于 1 的特征值，以及一个非平凡特征值

$$
e_t=1-a_t^\top k_t.
$$

由于 $d_t^\top k_t=0$，QED 保持

$$
e_t=1-(b_t\odot k_t)^\top k_t
=1-\sum_i b_{t,i}k_{t,i}^2\in(0,1).
$$

这是本文“保留稳定性条件”背后可以直接确认的性质。（Sec. 3.1、6；PDF pp. 3、7）

**本次分析的精确界定**：保持的是擦除因子 $M_t$ 的这些特征值。完整递推包含逐通道衰减 $M_tD_t$，其谱并不能由 $a_t^\top k_t$ 单独决定；$M_t$ 也可能是非正规矩阵，谱在单位圆内不等于欧氏范数收缩。例如取 $k=(1,0)^\top$、$b=(0.5,0.5)^\top$、$q=(0,1)^\top$、$\lambda=0.2$，便得到

$$
M=\begin{pmatrix}0.5&-0.1\\0&1\end{pmatrix},\qquad
\operatorname{spec}(M)=\{0.5,1\},\qquad
\|M(0,1)^\top\|_2=\sqrt{1.01}>1.
$$

因此应把投影理解为一个具体的单步谱约束，避免把它扩大成任意状态轨迹的稳定性保证。

### 2.6 强度、训练与计算开销

附录 A、式 (13)（PDF p. 9）使用

$$
\lambda_h=0.25\operatorname{sigmoid}(\theta_h),\qquad\theta_h^{\mathrm{init}}=-2.
$$

初始强度约为 $0.0298$。$\theta$ 的学习率是主学习率的 10 倍；作者的 1B-token 试跑中，默认学习率下平均 $\lambda$ 的移动不到初值的 1%，这是提高其学习率的动机。每层每 head 一个强度参数，按 24 层、6 heads 计算，共增加 144 个此类标量。

训练与常规推理都使用相同的 QED 递推，$\lambda$ 固定为训练学得的参数，$q,k,b,w,g$ 则随 token 变化。令 $\lambda=0$ 可在公式层面恢复 GDN-2 更新；在已训练 QED 上把它归零，仍保留了 QED 训练出来的其余权重。

QED 不增加状态大小：每 head 仍为 $O(KV)$；额外构造方向为 $O(K)$，rank-one 状态读写仍为 $O(KV)$。作者将新增工作概括为每 token、每 head 一次点积和一次减法，并称可保留 GDN-2 kernel 结构。这支持低额外算量的判断，但本文没有报告吞吐、延迟或显存实测，不能据此给出具体速度百分比。

## 三：实验——比较方向选择，而不是扩大模型预算

### 3.1 训练配置与比较对象

所有主要实验组均报告为 340M 参数，在同一 15B-token 日程训练，分别使用 seed 0 和 seed 1。模型是 24 层 decoder，每块包含 GDN-2 与 SwiGLU，采用 RMSNorm；hidden size 为 1024，6 heads，head dimension 为 128，输入输出 embedding 共享。

数据为 FineWeb-Edu，使用 Llama-2 tokenizer；训练长度为 2048，global batch 为 524,288 tokens。AdamW 的主学习率为 $3\times10^{-4}$，WSD 日程在 13.5B tokens 开始衰减；训练使用 BF16 和 FP32 master weights。（Sec. 4，PDF pp. 4–5）

这里直接训练比较的基线是 GDN-2；DeltaNet、GDN、KDA 与 EDA 出现在方法背景中，没有在主结果中作为同预算独立实验行。

### 3.2 五个实验组隔离哪些因素

以下写成相对基线 $b_t\odot k_t$ 的新增项：

| 实验组 | 新增擦除项 | 对照作用 |
| --- | --- | --- |
| GDN-2 | $0$ | 完整机制的基线 |
| QED-nogate-noproj | $\lambda_hq_t$ | 无门控、无投影的 query 修正 |
| QED-nogate | $\lambda_hP_{k_t}^\perp q_t$ | 与上一行比较投影；与 full 比较门控 |
| QED（full） | $\lambda_hP_{k_t}^\perp(b_t\odot q_t)$ | 完整机制 |
| QED-rand | $\lambda_hP_{k_t}^\perp(b_t\odot z_h)$ | $z_h$ 为每 head 固定随机单位向量；检验 query 方向的价值 |

“nogate”只移除**新增项**中的 $b_t$，基线原有擦除门仍在。投影对照是在无门控条件下做的；没有“保留门控、仅移除投影”的实验组，因此它不是完整的二因素析因设计。（表 1，PDF p. 4）

### 3.3 任务、指标与统计口径

| 评估 | 检验问题 | 本文口径 |
| --- | --- | --- |
| 验证损失 | 整体下一 token 建模是否变化 | nats，越低越好；15B-token 终点 |
| RULER S-NIAH-1 | 从干扰上下文中找回单个目标信息；能否超出训练长度 | accuracy %，越高越好；每长度 500 个样本，1K–32K |
| FDA | 文档中已出现信息的提取 / 召回 | accuracy %；短文档，不是长度外推 |
| SWDE | 网页半结构化信息提取 / 召回 | accuracy %；短文档 |
| SQuAD-completion | 从给定段落完成答案，作为理解对照 | accuracy % |
| 强度干预 | 固定 QED 权重后，改变递推是否影响表现 | 各强度共享每长度 500 个确定样本，与 $s=1$ 做配对比较 |

FDA、SWDE 与 SQuAD-completion 的任务含义可参照 [Based 原论文](https://arxiv.org/abs/2402.18668v2)：分别涉及 FDA 文档键值提取、HTML 字段提取和段落答案补全。这一背景解释不等于 QED 已完整报告了相同的数据预处理与评分细节。

图 1 的误差条是 95% 二项区间，反映测试样本层面的不确定性；两条种子曲线另行展示训练差异。原文 Sec. 4.2 还列出 S-NIAH-2、S-NIAH-3，但本版结果与附录没有给出它们的分数，因此“全部外推长度改善”在这里指**已报告的 S-NIAH-1**。

## 四：结果——完整机制有效，组成部分的作用有差异

### 4.1 语言建模损失基本不变（原文 Sec. 5.1）

| Seed | GDN-2 | QED full | QED-rand | QED-nogate | QED-nogate-noproj |
| --- | ---: | ---: | ---: | ---: | ---: |
| 0 | 2.3714 | 2.3719 | 2.3712 | 2.3718 | 2.3724 |
| 1 | 2.3746 | 2.3735 | 2.3735 | 2.3733 | 2.3741 |

来源：表 2，PDF p. 5；单位为 nats，越低越好。完整 QED 相对基线的变化分别是 $+0.0005$ 和 $-0.0011$ nats，十次运行的总跨度仅 $0.0034$ nats。这组结果支持“收益集中在检索能力”的解释。

### 4.2 长上下文检索：四个外推长度均改善（原文 Sec. 5.2）

![图 1：五个实验组的 S-NIAH-1 准确率](figures/fig1_sniah1.png)

原图 1，PDF p. 6。横轴是上下文 token 长度，纵轴是准确率；左右面板分别为 seed 0、seed 1。灰色竖虚线标记 2K 训练窗口，蓝色 QED 曲线在其右侧始终高于灰色 GDN-2 曲线。先看蓝灰差距，再看其他实验组随种子发生的排序变化。

| 长度 | Seed 0：GDN-2 → QED | 提升（百分点） | Seed 1：GDN-2 → QED | 提升（百分点） |
| --- | ---: | ---: | ---: | ---: |
| 1K | 100.0 → 100.0 | 0.0 | 100.0 → 100.0 | 0.0 |
| 2K | 99.0 → 100.0 | +1.0 | 95.6 → 99.6 | +4.0 |
| 4K | 93.4 → 99.6 | +6.2 | 79.2 → 96.0 | +16.8 |
| 8K | 64.4 → 91.6 | +27.2 | 50.6 → 84.2 | +33.6 |
| 16K | 21.8 → 39.8 | +18.0 | 21.2 → 59.8 | +38.6 |
| 32K | 9.4 → 15.8 | +6.4 | 6.0 → 30.2 | +24.2 |

来源：表 3，PDF p. 7；箭头两端为 accuracy %，差值由该表相减。引言中的“最高约 39 点”对应 38.6 个百分点，不是相对提高 39%。

**如何理解“可用上下文约翻倍”？** 作者在 Sec. 6 将其概括为约 8K → 16K，但没有给出统一的“可用”阈值。seed 1 中 QED 的 16K 准确率 59.8% 高于基线 8K 的 50.6%，支持这一描述；seed 0 中对应值为 39.8% 与 64.4%，不满足同一个比较。因而更稳妥的主结论是检索曲线整体改善，具体可用长度仍由所需准确率和训练结果决定。32K 下 full QED 也只有 15.8% / 30.2%，不能读成可靠的 32K 检索。

### 4.3 推理强度：一个 checkpoint 明显依赖修正，另一个不敏感（原文 Sec. 5.3、附录 A.1）

作者冻结训练权重，将所有 $\lambda_h$ 替换为 $s\lambda_h$，$s\in\{-1,0,0.5,1,1.5,2\}$。$s=-1$ 反向，$s=0$ 移除，$s=1$ 为训练设定，$s=2$ 加倍。改动贯穿 prefill 和 decoding，因此改变整条状态轨迹。

| $s$ | Seed 0：16K | 相对 $s=1$（百分点） | Seed 1：16K | 相对 $s=1$（百分点） |
| ---: | ---: | ---: | ---: | ---: |
| −1 | 39.8 | −2.0 | 44.8 | −20.8 |
| 0 | 41.4 | −0.4 | 55.0 | −10.6 |
| 0.5 | 42.0 | +0.2 | 61.0 | −4.6 |
| 1 | 41.8 | 0.0 | 65.6 | 0.0 |
| 1.5 | 41.6 | −0.2 | 69.8 | +4.2 |
| 2 | 43.6 | +1.8 | 73.0 | +7.4 |

来源：表 4，PDF p. 10；准确率 %。训练后的平均 $\lambda$ 分别约为 0.101、0.120。seed 1 在 4K、8K、16K、32K 上均随强度递增而改善；seed 0 的各长度变化相对训练设定最多 2.4 个百分点，且没有一致方向。FDA 的变化也不单调。

这个干预回答的是“特定训练结果在推理时是否依赖修正”。它不能单独说明训练时的 $\lambda_{\max}=0.25$ 已经成为瓶颈，因为重新训练会同时改变 $\theta$ 与其他参数。尤其 $s=0$ 的 QED 模型不等于独立训练的 GDN-2。

表 4 的 $s=1$ 与主表 3 的 QED 分数并不一致：例如 seed 1 的 16K 是 **65.6% 对 59.8%**，seed 0 是 **41.8% 对 39.8%**；论文没有说明这些差异的原因。这里仅在表 4 内部比较强度，避免把两张表拼成同一次评估。作者说明采用 exact McNemar test，但没有给出配对计数或 p 值，不能从边际准确率自行补出显著性判断。

### 4.4 短文档召回：FDA 增益稳定，另外两项没有一致改善（原文 Sec. 5.4）

| 任务 | Seed 0：GDN-2 → QED | 变化（百分点） | Seed 1：GDN-2 → QED | 变化（百分点） |
| --- | ---: | ---: | ---: | ---: |
| FDA | 4.45 → 7.80 | +3.35 | 4.26 → 7.99 | +3.73 |
| SQuAD-completion | 29.39 → 29.29 | −0.10 | 32.37 → 32.21 | −0.16 |
| SWDE | 19.08 → 21.51 | +2.43 | 19.62 → 19.62 | 0.00 |

来源：表 3，PDF p. 7。FDA 的相对增幅虽大，但绝对准确率仍约 8%，保留绝对数值更有助于判断实际表现。SWDE 仅 seed 0 有改善，原文将其视作没有一致收益。

![图 3：FDA 与 SQuAD-completion 的准确率](figures/fig3_recall.png)

原图 3，PDF p. 8。上面板是 FDA，下面板是 SQuAD-completion；横轴为实验组，实心与空心标记区分两个种子，误差条为原图的 95% 区间。FDA 中完整 QED 位置最高；理解对照中的差异没有形成相同模式。文档较短，因此这组证据说明的是记忆访问能力，不是扩大了输入窗口。

### 4.5 消融：query 方向有一致优势，门控与投影尚无稳定结论（原文 Sec. 6）

![图 2：机制、方向、门控与投影的四组差值](figures/fig2_contrasts.png)

原图 2，PDF p. 7。四个面板从左到右分别比较 full−baseline、full−rand、full−nogate、nogate−nogate-noproj；纵轴为准确率百分点差，零线表示无差别。实心为 seed 0，空心为 seed 1。

用 8K 的具体值可以看清各项含义：

| 对照 | Seed 0 差值 | Seed 1 差值 | 读法 |
| --- | ---: | ---: | --- |
| QED − GDN-2 | +27.2 | +33.6 | 完整机制在两次训练中均有收益 |
| QED − QED-rand | +25.6 | +2.2 | query 方向优于固定随机方向，但优势大小不同 |
| QED − QED-nogate | +40.4 | −3.4 | 门控收益发生反转 |
| QED-nogate − QED-nogate-noproj | −39.8 | +70.4 | 无门控条件下，投影收益发生显著的方向反转 |

这些是表 3 的点估计差值，不表示每一项都通过统计显著性检验。query 方向的优势在所有已测外推长度、两个种子中均为正，是较一致的组成部分证据。

随机方向对照并非总回到基线：seed 1 在 16K 下，GDN-2、QED-rand、QED 分别是 **21.2%、47.0%、59.8%**。这说明 query 选择优于该随机对照，但不能说“只有 query 方向才可能产生收益”。此外，无门控无投影组在 seed 1 的 4K / 8K / 16K / 32K 为 42.2 / 17.2 / 44.2 / 29.8%，表现非单调；它进一步显示单次训练不足以给部件排序。

作者随后检查无投影模型的 $e_t=1-a_t^\top k_t$。在两个无投影模型的 1.18M 个 token-head 样本中，报告区间为 $[-0.011,0.985]$，没有观测到 $|e_t|>1$；无投影时理论宽界则为 $[-0.25,1.25]$。作者据此认为，当前训练结果尚未明显进入投影想要阻止的区域。（Sec. 6，PDF p. 7）

这里有一个需澄清的数值口径：原文同时称反事实投影使该特征值变化小于 $10^{-3}$。若这是同一批样本的逐样本上界，则它与最小值 $-0.011$、投影后 $e_t\in(0,1)$ 不能同时成立；原文未说明它是否是均值等统计量。因此可引用观测区间，但不宜把“小于 $10^{-3}$”直接当作对所有样本成立的结论。

## 五：结论——把读取信号引入状态维护

QED 最有启发性的地方，是将 query 从读取端引入擦除决策：**状态更新仍沿 key 写回，但写回的残差可以利用 query 对旧状态的测量。** 它通过一个小的向量改动保留固定状态容量和 rank-one 结构，且在匹配训练预算下改善了 S-NIAH-1 与 FDA。

机制推导与实验应分两层理解。式 (11)–(12) 精确描述了共同输入下的局部作用；两个种子的主实验支持训练完整 QED 的收益。推理强度干预仅在一个种子中呈现明显的单调响应，说明训练后的依赖方式存在差异。门控与投影的单独价值、最优强度、以及投影约束何时真正起作用，仍需要更有针对性的实验。

最值得继续做的工作，是增加训练种子并进行训练期 $\lambda_{\max}$ 扫描，同时补齐“有门控、无投影”这一对照，测量真实 kernel 开销。机制上可进一步记录 $\rho_t$、$\bar S_t^\top d_t$ 与多步状态放大之间的关系，判断收益究竟来自当步抵消、长期状态塑形，还是两者共同作用。原文只展示了 340M 规模与 S-NIAH-1 的长度曲线，当前证据应据此使用。