版本与下载

QED：让 query 参与线性注意力的擦除决策

论文：The Query Knows What to Forget: A Second Erase Direction for Linear Attention
作者：Dhruman Gupta、Aritra Das、Debayan Gupta（Truth Audit Labs）
版本：arXiv:2608.13668v1，提交于 2026-08-13；获取与研读日期：2026-10-30。
原文：本地 PDF · arXiv PDF
配套：英文汇报 PDF · 可编辑 Beamer 源文件

发表：未查到正式发表信息（截至 2026-10-30）；arXiv 记录未列出会议或期刊，arXiv DOI 为预印本标识。
代码：未查到公开代码（截至 2026-10-30）；论文未提供项目或实现链接。

论文总览

固定大小的线性注意力状态需要同时容纳很多历史关联，长上下文中的读取容易受到其他关联干扰。QED（Query-derived Erase Direction，查询派生擦除方向）在 Gated DeltaNet-2（GDN-2）的擦除向量中加入一个由 query 生成、与当前 key 正交的修正项。它让模型根据“当前怎样读取记忆”选择要从旧状态中取走的内容，同时维持一次 rank-one 状态更新。

最关键的机制是：沿 query 派生方向测量旧状态，再把负的测量值沿 key 写回，通过 query 与 key 的重叠改变当前输出。 因而，第二个“擦除方向”指的是选择旧内容的方向；状态改动仍沿 key 发生。这个区别解释了为什么 QED 能改变输出，却仍不能直接改变任意 key 正交探针的响应。

在 340M 参数、15B 训练 token、2048-token 训练窗口、两个种子的实验中，完整 QED 在 S-NIAH-1 的 4K、8K、16K、32K 四个外推长度上均优于 GDN-2。最大提升是 seed 1、16K 下的 38.6 个百分点（21.2% → 59.8%）；FDA 文档召回分别增加 3.35、3.73 个百分点。验证损失和 SQuAD-completion 基本不变。消融最一致地支持“使用 query 生成修正方向”，门控与正交投影各自的收益则随训练种子变化。（Sec. 3、5–6；PDF pp. 3–8）

结构地图

下文页码均从 PDF 第一页开始计数，本版与印刷页码一致。

原文章节	在论证中的作用	PDF 页码及关键证据
1 Introduction	固定状态干扰与读写方向不匹配	pp. 1–2
2 Background	DeltaNet → GDN → KDA → GDN-2	pp. 2–3，式 (1)–(4)
3.1 Motivation	定义 QED 擦除向量	p. 3，式 (5)–(6)
3.2 The online learning perspective	分解可编辑响应，推导输出修正	pp. 3–4，式 (7)–(12)
4.1 Ablation arms	五个对照实验组	p. 4，表 1
4.2 Training and evaluation	训练预算、任务与推理强度干预	p. 5
5.1 Language modelling quality	是否改变整体语言建模损失	p. 5，表 2
5.2 Long-context retrieval	外推检索	pp. 5–6，图 1；表 3 在 p. 7
5.3 Inference-time strength	固定权重改变修正强度	pp. 5–6；完整表 4 在 p. 10
5.4 Document recall	短文档召回及理解对照	p. 6，图 3 在 p. 8
6 Discussion / 6.1 Inference-time strength test	消融解释、特征值诊断、种子差异	pp. 6–8，图 2 在 p. 7
7 Conclusion and Further Work	贡献及后续实验	p. 8
A The strength parameter / A.1 Inference-time strength test	强度参数化与完整干预结果	pp. 9–10，式 (13)–(15)、表 4

一：动机——读出的干扰未必由当前 key 选中

1.1 固定状态为什么会混入其他记忆

线性注意力把历史信息压缩到 $S_t\in\mathbb{R}^{K\times V}$，读取为 $o_t=S_t^\top q_t$。论文用经过衰减和历史擦除后的等效关联解释该输出：

$$ o_t=\sum_{j\leq t}(q_t^\top\tilde{k}_j)\tilde{v}_j. $$

这是式 (5)（PDF p. 3）：一次检索不仅返回目标关联，也会返回所有与当前 query 有非零重叠的历史关联。增加上下文长度并不增加状态维度，因此干扰可能累积。这里的“干扰”是围绕目标检索作的解释；旧状态中的非目标内容仍可能对未来读取有用，不能把所有旧内容都当作应删除的数据。

1.2 原有改进主要围绕遗忘速率与 key 方向

方法	相对前一步的变化	对当前问题的意义
加法线性注意力	$S_t=S_{t-1}+k_tv_t^\top$	写入新关联，但不先纠正旧关联
DeltaNet	擦除 key 下的旧值，再写入新值；二者共享 $\beta_t$	从累加变成误差修正
GDN	在 delta 更新前加标量衰减 $\alpha_t$	所有状态通道一起遗忘
KDA	衰减改为逐通道向量	不同 key 通道可保留不同时间尺度
GDN-2	擦除门 $b_t$ 与写入门 $w_t$ 分离	可分别控制删旧与写新，但擦除选择仍由 gated key 给出
QED	在擦除选择中加入 gated query 的正交分量	让读取方向参与决定此次残差

这些关系对应 Sec. 2、式 (1)–(4)，PDF pp. 2–3。论文也提到 Erase-then-Delta Attention 已解耦擦除与写入地址；QED 所强调的具体组合是 query 派生、复用擦除门、key 正交约束，以及保留单次 rank-one 更新，而不能把“解耦擦除与写入”本身视作本文独有的创新。

二：方法——读取旧内容的方向变了，写回方向仍是 key

2.1 先理解 GDN-2 的一次更新

符号	维度 / 约束	含义
$S_t,\bar S_t$	$K\times V$	更新后状态、仅做完衰减的旧状态
$q_t,k_t$	$K$；均做 L2 归一化	当前 query 与 key
$v_t,w_t$	$V$；$w_t\in(0,1)^V$	value 与逐通道写入门
$b_t$	$K$；$b_t\in(0,1)^K$	逐通道擦除门
$g_t$	$K$	对数衰减，$D_t=\operatorname{Diag}(\exp g_t)$
$a_t,d_t$	$K$	总擦除向量、QED 新增方向
$\lambda_h$	每层每 head 一个标量	新增方向的可学习强度；下标省略了层号
$\rho_t$	标量 $q_t^\top k_t$	query 与 key 的重叠

定义 $\bar S_t=D_tS_{t-1}$。GDN-2 的式 (4)、(8) 可以写成：

$$ \begin{aligned} a_t^{\mathrm{base}}&=b_t\odot k_t,\\ r_t^{\mathrm{base}}&=w_t\odot v_t-\bar S_t^\top(b_t\odot k_t),\\ S_t^{\mathrm{GDN2}}&=\bar S_t+k_t(r_t^{\mathrm{base}})^\top,\\ o_t&=S_t^\top q_t. \end{aligned} $$

先遗忘，再按 $b_t\odot k_t$ 读取需要擦除的旧值；把“准备写入的新值减去旧值”作为残差，沿 $k_t$ 写回。虽然 $b_t\odot k_t$ 未必与 $k_t$ 平行，整个状态改动的左因子始终是 $k_t$。（PDF pp. 2–4）

这也是在线学习视角的入口：普通 DeltaNet 可以解释为对 $\frac12\|S^\top k-v\|^2$ 做一次梯度更新，梯度为 $k(S^\top k-v)^\top$。GDN-2 与 QED 则在这一残差形式上增加了选择能力；本文主要给出代数分解，没有为 QED 另行推导一个显式优化目标。

2.2 QED 的计算步骤

论文式 (6) 定义：

$$ \begin{aligned} u_t&=b_t\odot q_t,\\ d_t&=P_{k_t}^{\perp}(u_t)=u_t-k_t(k_t^\top u_t),\\ a_t^{\mathrm{QED}}&=b_t\odot k_t+\lambda_h d_t. \end{aligned} $$

投影公式利用了 $\|k_t\|_2=1$。计算顺序是先门控 query，再投影；逐通道门控通常不能与正交投影交换。随后仍使用原来的递推：

$$ \boxed{\quad S_t=\bar S_t+k_t\left[w_t\odot v_t-\bar S_t^\top a_t^{\mathrm{QED}}\right]^\top,\qquad o_t=S_t^\top q_t.\quad} $$

三个设计分别承担不同作用：query 提供与读取相关的内容选择；$b_t$ 控制各通道参与程度；正交投影保持 $a_t^\top k_t$ 不因新增项变化。前两者服务于内容选择，第三者提供明确的代数约束。实验并未证明三个部件各自都必不可少。（Sec. 3.1，PDF p. 3）

2.3 为什么 key 正交响应仍不能直接修改

任意一次 $\Delta S=k_tr_t^\top$ 更新，对于探针 $x$ 的响应变化都是

$$ \Delta S^\top x=(x^\top k_t)r_t. $$

若 $x\perp k_t$，响应变化严格为零。这是式 (9) 的结构性结论，也适用于 QED，因为 QED 没有改变左侧的 $k_t$。（PDF p. 4）

将 $q_t=\rho_tk_t+q_t^\perp$，式 (10) 得到

$$ o_t^{\mathrm{GDN2}} =\rho_t\left[w_t\odot v_t+\bar S_t^\top\bigl((\mathbf1-b_t)\odot k_t\bigr)\right] +\bar S_t^\top q_t^\perp. $$

最后一项是从 key 正交部分读出的旧状态内容。QED 不直接改写这个响应，而是在可编辑的 key 分量中加入负的测量值，从总输出中抵消一部分旧内容。

对相同的输入状态、$q,k,v,b,w,g$，论文式 (11)–(12) 给出：

$$ \begin{aligned} S_t^{\mathrm{QED}}-S_t^{\mathrm{GDN2}} &=-\lambda_hk_t(\bar S_t^\top d_t)^\top,\\ o_t^{\mathrm{QED}}-o_t^{\mathrm{GDN2}} &=-\lambda_h\rho_t\bar S_t^\top d_t. \end{aligned} $$

这三个因子可以分别读作“擦除强度 × 当前可传到 query 的比例 × 被选中的旧内容”。此等式比较的是同一步、共同输入下的两种更新；独立训练模型的完整输出差异还包含其参数与历史状态的变化。

由公式可直接得到几个有助于理解的结论：

$\rho_t=0$ 时，此步 QED 修正不改变当前输出，但仍可能改变状态，从而影响未来读取。
修正是向量减法，并不保证删除的恰好全是干扰；$d_t$ 还可能读到有用内容，$\rho_t$ 也可为负。
有逐通道 $b_t$ 时，$d_t$ 一般并非 $q_t^\perp$ 的简单缩放。即使 $q_t=k_t$，$P_{k_t}^\perp(b_t\odot q_t)$ 也未必为零。

以上是对式 (6)、(11)–(12) 的本次推导，不是新增实验结果。

2.4 一个二维教学例子

令 $K=2,V=1$，$k=(1,0)^\top$，$q=(0.6,0.8)^\top$，$b=(0.5,0.5)^\top$，$\bar S=(2,3)^\top$，$w\odot v=1$，$\lambda=0.2$。这是为解释机制构造的例子。

基线读取的旧值为 $\bar S^\top(b\odot k)=1$，恰好等于新值，因此基线残差为零，输出为 $3.6$。QED 有

$$ d=(0,0.4)^\top,\qquad \bar S^\top d=1.2,\qquad \Delta S=(-0.24,0)^\top. $$

所以新状态为 $(1.76,3)^\top$，输出变为 $3.456$，减少 $0.144=0.2\times0.6\times1.2$。第二个状态坐标没有改变；它读出的内容却参与决定了第一个坐标的修正。这个例子说明“测量方向”与“写回方向”可以不同。

2.5 正交投影究竟保留了什么

记擦除因子 $M_t=I-k_ta_t^\top$。它有 $K-1$ 个等于 1 的特征值，以及一个非平凡特征值

$$ e_t=1-a_t^\top k_t. $$

由于 $d_t^\top k_t=0$，QED 保持

$$ e_t=1-(b_t\odot k_t)^\top k_t =1-\sum_i b_{t,i}k_{t,i}^2\in(0,1). $$

这是本文“保留稳定性条件”背后可以直接确认的性质。（Sec. 3.1、6；PDF pp. 3、7）

本次分析的精确界定：保持的是擦除因子 $M_t$ 的这些特征值。完整递推包含逐通道衰减 $M_tD_t$，其谱并不能由 $a_t^\top k_t$ 单独决定；$M_t$ 也可能是非正规矩阵，谱在单位圆内不等于欧氏范数收缩。例如取 $k=(1,0)^\top$、$b=(0.5,0.5)^\top$、$q=(0,1)^\top$、$\lambda=0.2$，便得到

$$ M=\begin{pmatrix}0.5&-0.1\\0&1\end{pmatrix},\qquad \operatorname{spec}(M)=\{0.5,1\},\qquad \|M(0,1)^\top\|_2=\sqrt{1.01}>1. $$

因此应把投影理解为一个具体的单步谱约束，避免把它扩大成任意状态轨迹的稳定性保证。

2.6 强度、训练与计算开销

附录 A、式 (13)（PDF p. 9）使用

$$ \lambda_h=0.25\operatorname{sigmoid}(\theta_h),\qquad\theta_h^{\mathrm{init}}=-2. $$

初始强度约为 $0.0298$。$\theta$ 的学习率是主学习率的 10 倍；作者的 1B-token 试跑中，默认学习率下平均 $\lambda$ 的移动不到初值的 1%，这是提高其学习率的动机。每层每 head 一个强度参数，按 24 层、6 heads 计算，共增加 144 个此类标量。

训练与常规推理都使用相同的 QED 递推，$\lambda$ 固定为训练学得的参数，$q,k,b,w,g$ 则随 token 变化。令 $\lambda=0$ 可在公式层面恢复 GDN-2 更新；在已训练 QED 上把它归零，仍保留了 QED 训练出来的其余权重。

QED 不增加状态大小：每 head 仍为 $O(KV)$；额外构造方向为 $O(K)$，rank-one 状态读写仍为 $O(KV)$。作者将新增工作概括为每 token、每 head 一次点积和一次减法，并称可保留 GDN-2 kernel 结构。这支持低额外算量的判断，但本文没有报告吞吐、延迟或显存实测，不能据此给出具体速度百分比。

三：实验——比较方向选择，而不是扩大模型预算

3.1 训练配置与比较对象

所有主要实验组均报告为 340M 参数，在同一 15B-token 日程训练，分别使用 seed 0 和 seed 1。模型是 24 层 decoder，每块包含 GDN-2 与 SwiGLU，采用 RMSNorm；hidden size 为 1024，6 heads，head dimension 为 128，输入输出 embedding 共享。

数据为 FineWeb-Edu，使用 Llama-2 tokenizer；训练长度为 2048，global batch 为 524,288 tokens。AdamW 的主学习率为 $3\times10^{-4}$，WSD 日程在 13.5B tokens 开始衰减；训练使用 BF16 和 FP32 master weights。（Sec. 4，PDF pp. 4–5）

这里直接训练比较的基线是 GDN-2；DeltaNet、GDN、KDA 与 EDA 出现在方法背景中，没有在主结果中作为同预算独立实验行。

3.2 五个实验组隔离哪些因素

以下写成相对基线 $b_t\odot k_t$ 的新增项：

实验组	新增擦除项	对照作用
GDN-2	$0$	完整机制的基线
QED-nogate-noproj	$\lambda_hq_t$	无门控、无投影的 query 修正
QED-nogate	$\lambda_hP_{k_t}^\perp q_t$	与上一行比较投影；与 full 比较门控
QED（full）	$\lambda_hP_{k_t}^\perp(b_t\odot q_t)$	完整机制
QED-rand	$\lambda_hP_{k_t}^\perp(b_t\odot z_h)$	$z_h$ 为每 head 固定随机单位向量；检验 query 方向的价值

“nogate”只移除新增项中的 $b_t$，基线原有擦除门仍在。投影对照是在无门控条件下做的；没有“保留门控、仅移除投影”的实验组，因此它不是完整的二因素析因设计。（表 1，PDF p. 4）

3.3 任务、指标与统计口径

评估	检验问题	本文口径
验证损失	整体下一 token 建模是否变化	nats，越低越好；15B-token 终点
RULER S-NIAH-1	从干扰上下文中找回单个目标信息；能否超出训练长度	accuracy %，越高越好；每长度 500 个样本，1K–32K
FDA	文档中已出现信息的提取 / 召回	accuracy %；短文档，不是长度外推
SWDE	网页半结构化信息提取 / 召回	accuracy %；短文档
SQuAD-completion	从给定段落完成答案，作为理解对照	accuracy %
强度干预	固定 QED 权重后，改变递推是否影响表现	各强度共享每长度 500 个确定样本，与 $s=1$ 做配对比较

FDA、SWDE 与 SQuAD-completion 的任务含义可参照 Based 原论文：分别涉及 FDA 文档键值提取、HTML 字段提取和段落答案补全。这一背景解释不等于 QED 已完整报告了相同的数据预处理与评分细节。

图 1 的误差条是 95% 二项区间，反映测试样本层面的不确定性；两条种子曲线另行展示训练差异。原文 Sec. 4.2 还列出 S-NIAH-2、S-NIAH-3，但本版结果与附录没有给出它们的分数，因此“全部外推长度改善”在这里指已报告的 S-NIAH-1。

四：结果——完整机制有效，组成部分的作用有差异

4.1 语言建模损失基本不变（原文 Sec. 5.1）

Seed	GDN-2	QED full	QED-rand	QED-nogate	QED-nogate-noproj
0	2.3714	2.3719	2.3712	2.3718	2.3724
1	2.3746	2.3735	2.3735	2.3733	2.3741

来源：表 2，PDF p. 5；单位为 nats，越低越好。完整 QED 相对基线的变化分别是 $+0.0005$ 和 $-0.0011$ nats，十次运行的总跨度仅 $0.0034$ nats。这组结果支持“收益集中在检索能力”的解释。

4.2 长上下文检索：四个外推长度均改善（原文 Sec. 5.2）

图 1：五个实验组的 S-NIAH-1 准确率

原图 1，PDF p. 6。横轴是上下文 token 长度，纵轴是准确率；左右面板分别为 seed 0、seed 1。灰色竖虚线标记 2K 训练窗口，蓝色 QED 曲线在其右侧始终高于灰色 GDN-2 曲线。先看蓝灰差距，再看其他实验组随种子发生的排序变化。

长度	Seed 0：GDN-2 → QED	提升（百分点）	Seed 1：GDN-2 → QED	提升（百分点）
1K	100.0 → 100.0	0.0	100.0 → 100.0	0.0
2K	99.0 → 100.0	+1.0	95.6 → 99.6	+4.0
4K	93.4 → 99.6	+6.2	79.2 → 96.0	+16.8
8K	64.4 → 91.6	+27.2	50.6 → 84.2	+33.6
16K	21.8 → 39.8	+18.0	21.2 → 59.8	+38.6
32K	9.4 → 15.8	+6.4	6.0 → 30.2	+24.2

来源：表 3，PDF p. 7；箭头两端为 accuracy %，差值由该表相减。引言中的“最高约 39 点”对应 38.6 个百分点，不是相对提高 39%。

如何理解“可用上下文约翻倍”？ 作者在 Sec. 6 将其概括为约 8K → 16K，但没有给出统一的“可用”阈值。seed 1 中 QED 的 16K 准确率 59.8% 高于基线 8K 的 50.6%，支持这一描述；seed 0 中对应值为 39.8% 与 64.4%，不满足同一个比较。因而更稳妥的主结论是检索曲线整体改善，具体可用长度仍由所需准确率和训练结果决定。32K 下 full QED 也只有 15.8% / 30.2%，不能读成可靠的 32K 检索。

4.3 推理强度：一个 checkpoint 明显依赖修正，另一个不敏感（原文 Sec. 5.3、附录 A.1）

作者冻结训练权重，将所有 $\lambda_h$ 替换为 $s\lambda_h$，$s\in\{-1,0,0.5,1,1.5,2\}$。$s=-1$ 反向，$s=0$ 移除，$s=1$ 为训练设定，$s=2$ 加倍。改动贯穿 prefill 和 decoding，因此改变整条状态轨迹。

$s$	Seed 0：16K	相对 $s=1$（百分点）	Seed 1：16K	相对 $s=1$（百分点）
−1	39.8	−2.0	44.8	−20.8
0	41.4	−0.4	55.0	−10.6
0.5	42.0	+0.2	61.0	−4.6
1	41.8	0.0	65.6	0.0
1.5	41.6	−0.2	69.8	+4.2
2	43.6	+1.8	73.0	+7.4

来源：表 4，PDF p. 10；准确率 %。训练后的平均 $\lambda$ 分别约为 0.101、0.120。seed 1 在 4K、8K、16K、32K 上均随强度递增而改善；seed 0 的各长度变化相对训练设定最多 2.4 个百分点，且没有一致方向。FDA 的变化也不单调。

这个干预回答的是“特定训练结果在推理时是否依赖修正”。它不能单独说明训练时的 $\lambda_{\max}=0.25$ 已经成为瓶颈，因为重新训练会同时改变 $\theta$ 与其他参数。尤其 $s=0$ 的 QED 模型不等于独立训练的 GDN-2。

表 4 的 $s=1$ 与主表 3 的 QED 分数并不一致：例如 seed 1 的 16K 是 65.6% 对 59.8%，seed 0 是 41.8% 对 39.8%；论文没有说明这些差异的原因。这里仅在表 4 内部比较强度，避免把两张表拼成同一次评估。作者说明采用 exact McNemar test，但没有给出配对计数或 p 值，不能从边际准确率自行补出显著性判断。

4.4 短文档召回：FDA 增益稳定，另外两项没有一致改善（原文 Sec. 5.4）

任务	Seed 0：GDN-2 → QED	变化（百分点）	Seed 1：GDN-2 → QED	变化（百分点）
FDA	4.45 → 7.80	+3.35	4.26 → 7.99	+3.73
SQuAD-completion	29.39 → 29.29	−0.10	32.37 → 32.21	−0.16
SWDE	19.08 → 21.51	+2.43	19.62 → 19.62	0.00

来源：表 3，PDF p. 7。FDA 的相对增幅虽大，但绝对准确率仍约 8%，保留绝对数值更有助于判断实际表现。SWDE 仅 seed 0 有改善，原文将其视作没有一致收益。

图 3：FDA 与 SQuAD-completion 的准确率

原图 3，PDF p. 8。上面板是 FDA，下面板是 SQuAD-completion；横轴为实验组，实心与空心标记区分两个种子，误差条为原图的 95% 区间。FDA 中完整 QED 位置最高；理解对照中的差异没有形成相同模式。文档较短，因此这组证据说明的是记忆访问能力，不是扩大了输入窗口。

4.5 消融：query 方向有一致优势，门控与投影尚无稳定结论（原文 Sec. 6）

图 2：机制、方向、门控与投影的四组差值

原图 2，PDF p. 7。四个面板从左到右分别比较 full−baseline、full−rand、full−nogate、nogate−nogate-noproj；纵轴为准确率百分点差，零线表示无差别。实心为 seed 0，空心为 seed 1。

用 8K 的具体值可以看清各项含义：

对照	Seed 0 差值	Seed 1 差值	读法
QED − GDN-2	+27.2	+33.6	完整机制在两次训练中均有收益
QED − QED-rand	+25.6	+2.2	query 方向优于固定随机方向，但优势大小不同
QED − QED-nogate	+40.4	−3.4	门控收益发生反转
QED-nogate − QED-nogate-noproj	−39.8	+70.4	无门控条件下，投影收益发生显著的方向反转

这些是表 3 的点估计差值，不表示每一项都通过统计显著性检验。query 方向的优势在所有已测外推长度、两个种子中均为正，是较一致的组成部分证据。

随机方向对照并非总回到基线：seed 1 在 16K 下，GDN-2、QED-rand、QED 分别是 21.2%、47.0%、59.8%。这说明 query 选择优于该随机对照，但不能说“只有 query 方向才可能产生收益”。此外，无门控无投影组在 seed 1 的 4K / 8K / 16K / 32K 为 42.2 / 17.2 / 44.2 / 29.8%，表现非单调；它进一步显示单次训练不足以给部件排序。

作者随后检查无投影模型的 $e_t=1-a_t^\top k_t$。在两个无投影模型的 1.18M 个 token-head 样本中，报告区间为 $[-0.011,0.985]$，没有观测到 $|e_t|>1$；无投影时理论宽界则为 $[-0.25,1.25]$。作者据此认为，当前训练结果尚未明显进入投影想要阻止的区域。（Sec. 6，PDF p. 7）

这里有一个需澄清的数值口径：原文同时称反事实投影使该特征值变化小于 $10^{-3}$。若这是同一批样本的逐样本上界，则它与最小值 $-0.011$、投影后 $e_t\in(0,1)$ 不能同时成立；原文未说明它是否是均值等统计量。因此可引用观测区间，但不宜把“小于 $10^{-3}$”直接当作对所有样本成立的结论。

五：结论——把读取信号引入状态维护

QED 最有启发性的地方，是将 query 从读取端引入擦除决策：状态更新仍沿 key 写回，但写回的残差可以利用 query 对旧状态的测量。 它通过一个小的向量改动保留固定状态容量和 rank-one 结构，且在匹配训练预算下改善了 S-NIAH-1 与 FDA。

机制推导与实验应分两层理解。式 (11)–(12) 精确描述了共同输入下的局部作用；两个种子的主实验支持训练完整 QED 的收益。推理强度干预仅在一个种子中呈现明显的单调响应，说明训练后的依赖方式存在差异。门控与投影的单独价值、最优强度、以及投影约束何时真正起作用，仍需要更有针对性的实验。

最值得继续做的工作，是增加训练种子并进行训练期 $\lambda_{\max}$ 扫描，同时补齐“有门控、无投影”这一对照，测量真实 kernel 开销。机制上可进一步记录 $\rho_t$、$\bar S_t^\top d_t$ 与多步状态放大之间的关系，判断收益究竟来自当步抵消、长期状态塑形，还是两者共同作用。原文只展示了 340M 规模与 S-NIAH-1 的长度曲线，当前证据应据此使用。