版本与下载

Don’t Read Everything：CCQ 中文精读笔记

完整题名：Don’t Read Everything: A Curvature-Conditioned Query for Linear Attention。
作者：Dong Le、Thong Nguyen、Cong-Duy Nguyen、Anh-Tuan Luu。
版本：arXiv:2606.01294v2，2026-08-30 修订；arXiv 备注为 EMNLP 2026 camera ready。
获取与研读日期：2026-09-16；本次成品修订 r1。
原始材料：本地 PDF、作者主 TeX、源码清单。源码获取成功，已沿主文件阅读摘要、引言、预备知识、方法、实验、相关工作、结论和完整附录 A–J；PDF 共 20 页，核验关键公式、全部结果表及图 1–7。本文页码均指 PDF 页码，与印刷页码一致。
阅读范围：分析作者论文与提交源码，未运行作者训练代码，未复现实验，也未审计其 GitHub 实现。原图复制自作者源码，图号与页码已和 PDF 对照。

论文总览

CCQ 的核心是：让线性注意力在读取记忆前，根据历史 key 的协方差压低 query 在高方差方向上的分量。 它把原来的 $o_t=S_tq_t$ 改为 $o_t=S_t(I-\lambda_t\Sigma_t)q_t$，保留骨干的状态写入规则，增加一个二阶矩矩阵和一个均值向量。

思路来自 softmax 对数配分函数在 $q=0$ 处的 Hessian：它恰好等于 key 的均匀经验协方差。但从这个恒等式到 CCQ 的具体算子，还有一个设计选择：对二次曲率惩罚做一次梯度步。它没有恢复 softmax 概率分布，也没有证明实际训练 query 附近的 Taylor 余项很小。

最清楚的收益见于同骨干、同训练预算的若干检索比较：1.3B 的 GLA 在 S-NIAH-1 / 4K 上由 47.8% 提升到 96.8%（+49.0 个百分点）；Gated DeltaNet 在 UUID / 4K 上由 6.0% 提升到 46.6%（+40.6 个百分点）。但个别任务退步，端到端解码吞吐约下降 35%，而附录 E 显示训练好的 CCQ 模型推理时关闭修正仍基本保留检索收益。因而更稳妥的结论是：这是一种有实证收益的训练架构改动，但“即时读取消噪就是全部收益来源”尚未确立。（表 3，p.8；附录 C–E，pp.13–15。）

结构地图

原文章节	作用	PDF 位置
1 Introduction	从改写入转向改读取	pp.1–2
2 Preliminary；2.1 Softmax Attention；2.2 Linear Attention	统一状态与读出符号	p.2，式 (1)–(4)
3.1 Motivation: the missing competition of linear attention	提出读端问题	pp.2–3，式 (5)–(6)
3.2 From competition to a query-side correction	Taylor 展开、CCQ、分数解释	pp.3–4，式 (7)–(11)
3.3 Properties of the construction	局部几何、诊断、稳定性	pp.4–5，式 (12)，图 1–2
4.1 Experimental Setup	两个规模、共同训练条件	pp.5–6，表 1
4.2 Language Modelling and Downstream Accuracy	PPL 与七任务平均	p.6；表 2 在 p.7
4.3 Synthetic Needle-in-a-Haystack	三种单针检索	p.6；表 3 在 p.8
4.4 Length Extrapolation	4K–20K 的 token PPL	pp.6–7，图 3–4
4.5 Long-Context Understanding	14 个 LongBench 任务	pp.6–7；表 4 在 p.8
5 Related Works；6 Conclusion；Limitations	方法位置与适用边界	pp.7–9
A Derivations；B Chunkwise computation of the running covariance	Hessian、分数形式、分块统计	pp.11–12
C Algorithms；D Training Hyperparameters	算法、效率、训练配方	pp.12–14；算法 1–2、表 5–6；图 5 在 p.15
E Covariance and Gate Ablations；F Evaluation Details	消融、推理干预、指标口径	pp.14–15；表 7 在 p.15
G Additional details on stability；H Derivation of the retrieval-margin proposition	谱界与检索间隔	pp.15–16
I Empirical validation of the alignment assumption	几何诊断完整协议与热图	pp.16–18；图 6–7 在 pp.19–20
J Modelling choices and limitations	query 权重与遗忘失配	p.18

一：动机——写得更好之后，是否还需要读得更好？

线性注意力用有限大小的快权重矩阵压缩历史。在最简单的加性写入中，$S_t=\sum_{j\le t}v_jk_j^\top$，输出是各个 value 按内积分数线性叠加。背景 key 多时，目标的贡献可能被大量背景混合。GLA 的门控控制保留哪些信息，Delta rule 通过软覆盖减少写入干扰；CCQ 则问：读出 query 能否利用记忆的几何分布，减少沿背景方向的读取？（§1–3.1，pp.1–3。）

作者将相关路线分为遗忘门控、delta 写入、在线学习式记忆、核特征映射、softmax 展开及高阶状态。这里的“只改读取”是相对于骨干状态更新公式而言：训练时改动读出仍会通过梯度影响投影和表示学习，并不意味着训练后的写入内容保持不变。对任意骨干可组合是架构上的主张；实际训练验证只覆盖 GLA 和 Gated DeltaNet。

一个容易误解的点是：对固定 query，softmax 的分母是所有候选共享的常数，本身不改变候选排名。 CCQ 借用其曲率后改变了各候选内积分数，这不是“把缺失分母直接补回去”。论文 §3.1 已指出分母只统一归一化分数。（p.2，式 (5)。）

二：方法——从协方差到 query 收缩

2.1 符号与形状

符号	含义与形状
$q_t,k_t\in\mathbb R^{d_k}$	单头 query、key；实现中先逐头做 $\ell_2$ 归一化
$v_t\in\mathbb R^{d_v}$	value
$S_t\in\mathbb R^{d_v\times d_k}$	骨干的快权重记忆
$\mu_t\in\mathbb R^{d_k}$	截至当前位置、包含当前 key 的均值
$\bar C_t,\Sigma_t\in\mathbb R^{d_k\times d_k}$	平均二阶矩、中心化协方差
$\lambda_t\in(0,1)$	每 token、每头的学习门控
$t$	当前序列内位置，也是统计归一化的样本数

正文省略了归一化的横线，算法 1–2（p.13）显式区分原始 $q_t$ 与归一化 $\bar q_t$。附录 E 说明门控来自 pre-split query 的线性投影，不直接观察协方差；不能误实现成仅由归一化后的单头 query 独立计算。

2.2 精确的恒等式在哪里？

定义对数配分函数

$$ A_t(q)=\log\sum_{j\le t}\exp(k_j^\top q),\qquad p_j(q)=\frac{\exp(k_j^\top q)}{\sum_{m\le t}\exp(k_m^\top q)}. $$

对固定 keys 求导：

$$ \nabla A_t(q)=\sum_jp_j(q)k_j,\qquad \nabla^2A_t(q)=\sum_jp_j(q)k_jk_j^\top-\mathbb E_p[k]\mathbb E_p[k]^\top. $$

在 $q=0$ 时，$p_j=1/t$，所以

$$ \mu_t=\frac1t\sum_{j\le t}k_j,\quad \bar C_t=\frac1t\sum_{j\le t}k_jk_j^\top,\quad \nabla^2A_t(0)=\Sigma_t=\bar C_t-\mu_t\mu_t^\top. $$

因而

$$ A_t(q)=\log t+\mu_t^\top q+\tfrac12q^\top\Sigma_tq+\mathcal O(\|q\|^3). $$

这里的协方差采用 $1/t$，不是无偏估计的 $1/(t-1)$；前者才与均匀 softmax Hessian 精确对应。“isotropic-attention point”指权重均匀，不表示 key 的协方差是各向同性。附录 I 的离线特征向量诊断用 $1/(T-1)$；统一标量缩放不改变其特征子空间，不能把这个离线统计口径混入递推公式。（§3.2–3.3，式 (7)、(8)、(12)，pp.3–4；附录 A，p.11；附录 I，p.17。）

2.3 从 Hessian 到 CCQ 是设计选择

设二次惩罚 $R_t(q)=\tfrac12q^\top\Sigma_tq$，做一步梯度更新：

$$ q_t^{\mathrm{clean}}=(I-\lambda_t\Sigma_t)q_t, \qquad \lambda_t=\sigma(W_\lambda q_t+b_\lambda). $$

随后按原骨干读出：

$$ o_t=S_tq_t^{\mathrm{clean}}=S_tq_t-\lambda_tS_t\Sigma_tq_t. $$

$\Sigma_t$ 决定收缩方向，$\lambda_t$ 决定整体强度。选 $I-\lambda\Sigma$ 的理由是只需要一次矩阵向量乘积；$(I+\lambda\Sigma)^{-1}$ 或 $\exp(-\lambda\Sigma)$ 也可定义收缩，却更贵。CCQ 不是 Newton 步、不是协方差逆白化，也不是从 Taylor 展开唯一推出的算子。（式 (9)–(10)，p.3；附录 A.3，pp.11–12。）

另外，给定门控值后它对 query 是线性算子；由于 $\lambda_t$ 本身依赖 query，整个 query 到输出映射不能一概称为固定线性映射。

2.4 分数如何变化，何时有利？

在加性记忆的候选分数解释下：

$$ s_{tj}^{\mathrm{CCQ}}=k_j^\top q_t-\lambda_tk_j^\top\Sigma_tq_t. $$

进一步展开为

$$ s_{tj}^{\mathrm{CCQ}}=k_j^\top q_t -\frac{\lambda_t}{t}\sum_{i\le t}(k_j^\top k_i)(k_i^\top q_t) +\lambda_t(k_j^\top\mu_t)(\mu_t^\top q_t). $$

最后一项把均值方向贡献加回，因此中心化版本压制的是围绕均值的变化，而非简单惩罚“出现次数多的方向”。$k_j^\top\Sigma_tq_t$ 可以为负，所以某个候选的标量分数也可能升高；“收缩”指 query 的谱分量与范数，而不是所有候选分数都下降。该解释不意味着带覆盖的 DeltaNet 状态仍是原始 value 的简单加权和。（式 (11)，p.3；式 (20)，p.12。）

若近似 $\Sigma_t\approx\rho uu^\top$，目标与干扰 key 对 $u$ 的投影分别为 $\alpha$、$\beta$，则目标相对干扰的间隔变化为

$$ \Delta\approx\lambda\rho(\beta-\alpha)(u^\top q). $$

因此关键是 $(\beta-\alpha)(u^\top q)$ 的符号：为正才扩大间隔，为负则可能伤害目标；query 与 $u$ 正交时修正为零。在 $\beta\approx1,\alpha\to1$ 的特例中，目标与干扰被等量压低，间隔不变，但 query 本身不一定不变。正文 p.4 将某些边界说成“identity”过强，应以附录 H 的间隔等式理解。多特征方向时还要叠加各方向贡献，不能把单方向符号结论直接作为全谱保证。（附录 H，式 (26)–(27)，p.16。）

教学例子（非论文实验）：取 $\Sigma=\operatorname{diag}(0.8,0.1)$、$\lambda=0.5$，$q=(1,1)^\top/\sqrt2$。修正后是 $(0.6,0.95)^\top/\sqrt2$。目标 key 为第二坐标轴、干扰为第一坐标轴时，原本相同的分数变成目标较大；若二者身份互换，目标反而受损。CCQ 对什么有用，依赖目标与背景的几何关系。

2.5 稳定性证明及其边界

当 $\|k_j\|_2=1$ 时，对任意单位向量 $x$：

$$ x^\top\bar C_tx=\frac1t\sum_j(k_j^\top x)^2\le1, \qquad 0\preceq\Sigma_t\preceq\bar C_t\preceq I. $$

若协方差特征值为 $\sigma_i\in[0,1]$，则清理算子的特征值为

$$ 1-\lambda_t\sigma_i\in[1-\lambda_t,1]\subset(0,1]. $$

所以 $\|q_t^{\mathrm{clean}}\|_2\le\|q_t\|_2$，精确算术下没有方向被完全消除。该界独立于序列长度，依赖单位 key、二阶矩除以 $t$、sigmoid 有界门控。它保证的是单次 query 修正的谱稳定性，不保证整个模型训练稳定、检索准确率提高或 Taylor 余项小。（§3.3，p.5；附录 G，pp.15–16，式 (23)。）

2.6 递推、分块与训练/推理区别

逐 token 推理先归一化 query/key，并更新含当前 key 的统计量：

$$ \bar C_t=\bar C_{t-1}+\frac1t(\bar k_t\bar k_t^\top-\bar C_{t-1}),\qquad \mu_t=\mu_{t-1}+\frac1t(\bar k_t-\mu_{t-1}). $$

再算 $\Sigma_t\bar q_t=\bar C_t\bar q_t-\mu_t(\mu_t^\top\bar q_t)$，用原始 query 求门控，然后让骨干用 cleaned query 读出。状态写入使用原骨干的 key、value 及遗忘/覆盖规则。无需显式构造额外的 $\Sigma_t$ 副本即可求作用结果。（算法 2，p.13。）

训练用分块计算：块前累计 $\sum kk^\top$ 与 $\sum k$；块内用因果 mask 计算当前块对二阶矩乘 query 的贡献，用累计和求逐位置均值；按各位置的 $t$ 分别归一化。算法 1 的矩阵表达存在转置/广播简写，下面给一个按行存储 Q/K 的维度明确重述，不是新的论文算法：

$$ P_{\mathrm{prev}}=\bar Q S^K_{\mathrm{prev}},\qquad P_{\mathrm{intra}}=(\bar Q\bar K^\top\odot L)\bar K. $$

第 $i$ 行二阶矩作用为 $(P_{\mathrm{prev}}+P_{\mathrm{intra}})_i/t_i$；设该位置累计 key 和为 $m_i$，均值修正为 $m_i(m_i^\top\bar q_i)/t_i^2$，必须逐行计算，避免误写成跨 token 的全矩阵乘积。统计量本身没有遗忘，与骨干状态分开维护。（附录 B–C，pp.12–13。）

每头缓存由 $d_vd_k$ 增至 $d_vd_k+d_k^2+d_k$，相对额外占用为 $d_k/d_v+1/d_v$。本文 $d_k=256,d_v=512$，约增加 50%；实现报告每序列 fp32 状态 64→96 MiB。序列长度复杂度仍为固定维度下的线性计算与常数缓存，但常数开销明显。训练从头加入 CCQ；论文没有证实对任意已训练普通骨干直接加装就能获得同样收益。

三：实验——比较什么，指标怎么读？

3.1 共同训练配置与对照角色

全部模型在同一个 FineWeb-Edu 子集上从头预训练，32K BPE，训练窗口 4096，SwiGLU、RMSNorm、非共享输入输出 embedding。500M 模型训练 15B tokens；1.3B 模型训练 40B tokens。全局 batch 分别为 262,144 和 524,288 tokens/step。使用 8×H200、FSDP、bfloat16、AdamW；$\beta=(0.9,0.95)$，weight decay 0.1，峰值学习率 $10^{-3}$，1024 步 warmup，cosine 衰减到零。（§4.1，pp.5–6；附录 D，p.14。）

对照	用来回答的问题
GLA / CCQ-GLA	门控写入不变，加入 CCQ 训练后能否改善？
Gated DeltaNet / CCQ-Gated DeltaNet	更强的遗忘和覆盖规则之上是否仍有收益？
GLA-Hedgehog	学习核特征映射是否表现出相同收益模式？
Mamba2	与另一种递归架构比较
Llama-style Transformer	相同训练窗口和预算下的 softmax 参照

两个规模的 GLA / Gated DeltaNet 系列均为 21 层；hidden 分别为 1024 / 2048。Transformer 为 35 / 24 层，Mamba2 为 65 / 48 层。相同“规模”不代表所有架构层数和具体参数完全一致；最直接的证据来自同骨干比较。CCQ 门控权重零初始化，bias 使初始 $\lambda\approx0.01$。

3.2 四组评测协议

实验	数据与口径	方向与解释
LM / 常识	WikiText word PPL；LAMBADA OpenAI PPL/accuracy；PIQA、HellaSwag、WinoGrande、ARC-e、ARC-c、SIQA、BoolQ	PPL 越低越好；七任务 Avg 越高越好，不含 LAMBADA；HellaSwag/ARC 用 normalized accuracy
S-NIAH	RULER 单针：pass-key、number、UUID；1K/2K/4K/8K；UUID 只列到 4K	正确率百分比；4K 为训练窗口，8K 为纯长度外推；batch 500M=32、1.3B=8
长度外推 PPL	GovReport、QMSum、NarrativeQA、Qasper、PG19、CodeParrot；4K 到 20K，间隔 2K	文本串成 token stream，切成不重叠窗口；token 加权平均交叉熵取指数，不等于 WikiText word PPL
LongBench	1.3B 上的 14 个英文任务；官方任务模板与对应指标	QA 用 F1、摘要用 ROUGE-L、TREC 用 accuracy、代码用 edit similarity；Avg 是异质任务分数的等权平均，不能笼统解释为准确率

原文把 LongBench 称为 zero-shot，同时保留基准中的 few-shot 类任务；应理解为该评测报告的设置，不能自行断言所有模板都没有上下文示例。论文没有完整交代每任务输入截断、生成长度等细节。主要质量表未提供多随机种子均值/误差条，不据小幅差异宣称统计显著。500M LongBench 因作者称标准误差与模型间差距相近而未列出。（附录 F，pp.14–15。）

四：结果——收益、例外与证据强度

4.1 语言建模与下游准确率

下表均为表 2（p.7）的原始数值；箭头左为骨干，右为加 CCQ，差值由本次阅读计算。

规模 / 骨干	WikiText PPL ↓	LAMBADA PPL ↓	LAMBADA acc ↑	七任务 Avg ↑
500M / GLA	27.27→26.17	32.11→25.77	34.02→36.74	48.54→49.73
500M / Gated DeltaNet	26.33→25.59	29.10→22.93	33.88→38.19	48.98→49.87
1.3B / GLA	18.80→16.92	12.31→11.39	47.02→47.82	55.75→56.10
1.3B / Gated DeltaNet	17.98→18.01	13.11→12.52	45.57→46.13	55.64→56.24

GLA 的收益更明显：1.3B WikiText PPL 绝对减少 1.88，按表值相对减少 10%；HellaSwag 从 55.44 到 59.14，+3.70 个百分点。Gated DeltaNet 的 WikiText 在 1.3B 上略差 0.03，不能说 CCQ 所有 PPL 都改善。它的 Avg 提升 0.60 个百分点，而非相对提升 0.60%。单项任务也有回退，如 1.3B CCQ-GLA 的 ARC-e 由 66.54 降至 64.23。

Transformer 的 WikiText PPL 为 331.69（500M）和 41.55（1.3B），明显偏离其他模型；论文未给出足以解释这一现象的专项诊断。这里应保留表值并降低跨架构泛化结论强度，不能据此断言 softmax 普遍劣于递归模型。

4.2 S-NIAH：大幅提升发生在特定任务与长度

规模 / 骨干	任务 / 长度	原骨干 %	CCQ %	差值：百分点
500M / GLA	pass-key / 2K	26.2	97.6	+71.4
500M / GLA	pass-key / 4K	11.0	56.4	+45.4
500M / Gated DeltaNet	number / 8K	24.8	50.8	+26.0
1.3B / GLA	pass-key / 4K	47.8	96.8	+49.0
1.3B / GLA	number / 8K	31.2	60.6	+29.4
1.3B / GLA	UUID / 4K	29.2	64.8	+35.6
1.3B / Gated DeltaNet	UUID / 4K	6.0	46.6	+40.6
500M / GLA	UUID / 1K	39.8	11.0	−28.8
1.3B / Gated DeltaNet	pass-key / 8K	99.8	98.2	−1.6

来源：表 3，p.8。这是选择关键改善与反例的摘要，不代表全表每格改善。

1.3B Transformer 在 UUID 2K/4K 上为 94.4/82.2，高于 CCQ-GLA 的 90.4/64.8；但 UUID 1K 是 CCQ-GLA 94.4 高于 Transformer 93.0。原文“Transformer leads in-distribution S-NIAH-3”的概括应加长度限定。所有模型在 UUID 超过 4K 时崩溃，论文未列出其 8K 数字。pass-key/number 的 Transformer 8K 为 0，属于未做长上下文扩展的 4K 训练基线，不代表经长上下文训练的 Transformer 上限。

4.3 长度外推：原图比正文的概括更有约束力

图 3：500M 长度外推 PPL

原图 3，p.6。横轴为上下文长度，纵轴为 token PPL，六个面板纵轴范围不同。紫色 Mamba2、红色 GLA、蓝色 Gated DeltaNet、绿色 CCQ-GLA、橙色 CCQ-Gated DeltaNet。500M 下 CCQ-Gated DeltaNet 在多数面板明显较低，尤其 NarrativeQA、CodeParrot、PG19；CCQ-GLA 普遍低于 GLA。GovReport 上两种 CCQ 非常接近，不从图像中编造精确数值或推广“每个长度都严格最优”。

图 4：1.3B 长度外推 PPL

原图 4，p.7。20K 时 CCQ-GLA 在 GovReport、QMSum、Qasper、CodeParrot 四个面板最低，CCQ-Gated DeltaNet 在 NarrativeQA、PG19 最低。

原文内的实质不一致：§4.4 p.6 称两个 CCQ 变体在 20K 时均在所有面板优于自己的骨干 1–2.5 PPL。图 4 的 GovReport、QMSum、Qasper 三个面板中，橙线（CCQ-Gated DeltaNet）却在蓝线（Gated DeltaNet）上方，即略差；CCQ-GLA 在 GovReport 的改善量也明显不足 1 PPL。本笔记与幻灯片依据原图保留这些例外，不重复该全面胜出的表述。图中未给逐点数值表，因此只做可辨趋势判断。

Transformer 与 GLA-Hedgehog 因超出显示范围而被省略；y 轴是针对展示的五种递归模型自动缩放。曲线下降说明在这个非重叠分窗协议下长窗口 token 预测可改善，不等于任意多跳推理或精确回忆都随长度改善。（§4.4；附录 F，p.15。）

4.4 LongBench：平均分提升不代表每类任务提升

1.3B 模型	14 任务 Avg ↑	相对自身骨干差值
Mamba2	13.13	—
GLA	14.07	—
CCQ-GLA	15.77	+1.70
Gated DeltaNet	13.80	—
CCQ-Gated DeltaNet	14.78	+0.98
GLA-Hedgehog	8.94	—
Transformer	4.80	—

来源：表 4，p.8，分数已按原文的百分尺度列出。Avg 是不同官方指标的均值，不是统一样本级准确率。

CCQ-GLA 的 TREC 24.75→39.50（+14.75），GovReport 7.46→9.11；CCQ-Gated DeltaNet 的 TriviaQA 21.01→28.28、SAMSum 25.68→27.75。与此同时，后者的 Qasper 5.28→3.91、HotpotQA 5.77→3.39、RepoBench-P 25.60→21.29 都下降。说明平均改善并非普遍能力提升。

两处应按表值纠正的原文表述：

§4.5 p.7 称 CCQ-GLA 领先 RepoBench-P，表 4 却为 GLA 26.81、CCQ-GLA 26.37；表的粗体也不能作为最优性的可靠依据。
同段将 CCQ-Gated DeltaNet 相对 Mamba2 的优势写成 +2.64；按表值 14.78−13.13=1.65。+2.64 对应的是 CCQ-GLA（15.77−13.13）。

本次复算了表 2 的七任务平均与表 4 的十四任务平均，整体与报告一致到舍入精度；上述问题主要在文字概括和最佳值标注，而非均值本身。

4.5 协方差中心化与门控消融

1.3B Gated DeltaNet 配方	Wiki PPL ↓	LAMBADA PPL ↓	七任务 Avg ↑	number 8K ↑	UUID 4K ↑
不加 CCQ	17.98	13.11	55.64	56.6	6.0
中心化 + 学习门控	18.01	12.52	56.24	58.4	46.6
非中心化 + 学习门控	17.30	12.55	56.20	56.2	55.6
中心化 + 固定 $\lambda=0.1$	17.99	12.91	55.85	57.2	20.0

来源：附录 E，p.14；表 7，p.15。两种二阶统计都有收益，未中心化版本在 WikiText 和 UUID 4K 反而更好。因此实验不支持“精确匹配 Hessian 的中心化是收益的必要条件”。学习门控相对固定 0.1 在 UUID 上更强，但这一个常数对照不能充分分离门控自适应与平均强度不同的作用。

门控从约 0.01 初始化；训练后 sigmoid(bias) 的跨层平均在 0.35–0.45，实际 token gate 在普通文本约 0.29、检索 query 位置约 0.40。这是输入敏感性的相关证据，不能说门控直接识别协方差中的噪声，因为其输入没有协方差。

4.6 推理时关闭 CCQ：需要放进主结论的干预

附录 E（p.14）报告：对已训练的 CCQ-Gated DeltaNet checkpoint，推理时禁用 CCQ，pass-key 在 4K–100K 的准确率变化至多 2.2 个百分点，number/UUID 在 4K–16K 的变化至多 1.6 个百分点。相对于独立训练骨干的增益基本仍在。

作者的结论是这一干预不能识别训练改善的原因。本次分析是它削弱了“测试时那次协方差乘法直接造成大部分增益”的强解释，支持进一步区分训练表示效应与即时读出效应。它不证明 CCQ 训练无用，也不证明所有模型都可无损关闭；原文没有为全部任务报告关闭后的完整质量/效率表。

4.7 效率：渐近复杂度不变，解码成本仍高

1.3B 端到端测量	GLA→CCQ-GLA	Gated DeltaNet→CCQ-Gated DeltaNet
全程训练中位吞吐，k tokens/s/GPU ↑	41.6→34.8（−16.3%）	45.1→37.8（−16.2%）
峰值训练显存，GiB ↓	87.5→99.9	81.5→93.6
单 H200、batch 8、4K prefill，ms ↓	198→217（+9.6%）	189→204（+7.9%）
同一报告设置下 decode，tokens/s ↑	454→298（−34.4%）	457→297（−35.0%）

来源：附录 C，pp.13–14。百分比由表述中的原值复算。吞吐减少约 35% 不等于同工作量用时增加 35%：后者约为 52–54%。解码额外启动多个小 kernel；作者未把尚未实现的融合 kernel 当成既有性能。

表 5（p.13）的单层测试另用 batch 1、hidden 2048；40 次重复、5 次 warmup，CUDA 同步。4K forward+backward 为 GLA 2.28±0.02→3.50±0.03 ms，Gated DeltaNet 6.26±0.02→8.06±0.03 ms；这是约 +53.5% / +28.8% 的层级耗时，不能和完整模型训练吞吐的 −16% 混为一谈。forward-only 的 4K/8K 耗时分别为 GLA 0.75/0.96→1.20/1.37 ms、Gated DeltaNet 1.95/2.98→2.24/3.67 ms。

图 5：固定 tokens/step 的吞吐扫描

原图 5，p.15。横轴同时改变序列长度和 batch，以保持每步 32K tokens；纵轴为 k tokens/s。虚线 CCQ 相对实线骨干有近似固定开销，Transformer 随长度增加下降。这是受控吞吐扫描，不能把其 y 值直接代替全程训练中位数。

4.8 几何诊断：支持一种场景，尚非普遍因果解释

作者在 Qwen3-4B-Instruct-2507（36 层）与基线 Gated DeltaNet 500M（21 层）上捕获各层 key，逐头单位归一化。约 120 句 filler 中插入一个针句，形成约 1500–1700 tokens 的提示；needle span 17–19 tokens。多个场景更换密码、编号等目标和提问。unique needle 仅保留全提示中 token-id 出现至多两次的 token，以减少通用词污染。（附录 I，pp.16–18。）

用中心化协方差的前 16 个特征向量 $U$ 定义

$$ a_t=\frac{\|U^\top(k_t-\bar k)\|^2}{\|k_t-\bar k\|^2},\qquad \Delta_\mu=\mu_{\text{needle}}-\mu_{\text{distractor}}. $$

$a_t$ 衡量 key 的中心化能量有多少位于高方差子空间；$\Delta_\mu<0$ 表示 needle 较少位于该子空间。它不是检索准确率，也不包含 query 与特征方向的符号条件。

图 1：逐层几何差异

原图 1，p.5。横轴是层号，纵轴是投影能量差；实线为 unique needle 的提示均值，阴影为提示间 ±1 标准差，虚线为整个 needle span 对照。两模型所有层的头平均实线均为负，跨层均值分别为 −0.111 与 −0.209，提示间标准差约 0.02。早层强分离可能部分来自词汇稀有度，不能单独视作语义检索机制证据。

图 2：合并 token 的投影分布

原图 2，p.5。横轴为 top-16 alignment，纵轴为密度；红色 unique needle 分布相对紫色 distractor 偏左。合并统计给出 Gated DeltaNet gap −0.207，与逐层平均的 −0.209 口径不同，本文保留各自标签。

图 6–7（pp.19–20）把差异拆到 layer/head：Qwen 大多数为负但存在少量正单元；Gated DeltaNet 全图为负。“100% 层成立”是头平均结论，不能改写为两模型的所有 head 都成立。两模型规模、训练数据、head dimension 也不同，不能把分离更强因果归于 linear attention。unique-token 筛选本身偏向罕见目标，尚未检验频繁目标或聚合问题；提示集合确切数量未明确报告。

五：结论——应该带走什么？

5.1 可靠贡献

CCQ 提供了一个清晰、可递推的记忆感知 query 变换：对 key 二阶统计做一次有界谱收缩，不需要按历史长度增长的 KV cache，也不改变骨干写入公式。Hessian–covariance 恒等式与谱界是可验证的数学部分；两种骨干从头训练后的多个检索和语言建模改善是实证部分。二者之间的完整因果链仍未证明。

5.2 最重要的边界

局部近似：精确 softmax Hessian 在实际 query 处是 query 加权协方差；CCQ 用均匀历史统计。归一化只能控制算子范数，不控制展开余项。
目标几何：有用目标若与高方差方向重合，也可能被削弱；高方差不能直接等同于噪声，低方差不能直接等同于语义重要性。
统计与有效记忆失配：CCQ 协方差不遗忘，GLA 会遗忘，Delta rule 会覆盖；附录 J 的标量衰减和式只是简化描述，不能完整表示一般 DeltaNet 的矩阵覆盖动态。
因果归因：关闭推理修正的干预说明训练表示变化可能很重要，但尚缺充分的匹配对照来识别原因。
实证范围：仅 500M/1.3B、15B/40B tokens、两骨干；未训练验证 CCQ-Mamba/RWKV、7B+、多轮或 agentic 能力。几何探测里的 4B Qwen 不是 CCQ 4B 训练结果。
成本与统计把握：当前 decode 约损失 35% 吞吐；主要质量比较缺少多 seed 不确定性报告。文字与图表的几处矛盾已在结果节列明。

5.3 值得继续验证的问题（本次分析，不是论文已完成的实验）

对同一初始化与随机种子，分离“训练时开/关”与“推理时开/关”的四种组合，并补充 normalization-only 对照，检验收益究竟来自何处。
固定平均强度或扫描多个固定 $\lambda$，再与学习门控比较，区分自适应性与强度变化。
用骨干遗忘对齐的统计，或 query 加权低秩协方差，检查统计失配是否是任务退步的来源。
扩大到频繁目标、聚合与多针检索，检验 top-variance=background 的适用域。
评估训练 CCQ、部署关闭修正的质量/效率边界，而非根据单个 checkpoint 的局部结果直接假定可免费加速。

组会讨论可围绕一个问题展开：CCQ 最有价值的贡献，是一个更好的即时读取算子，还是一种促使网络学习更可检索表示的训练结构？ 本文现有证据支持前者作为设计动机，支持后者作为待检验解释；尚不足以只选其一。