Gated Slot Attention-2：双侧关联记忆修正的中文精读

• 题名：Gated Slot Attention-2: Two-Sided Associative Memory Correction in Linear Attention。
• 作者：Ruijie Li、Shengnan Ding、Weimin Zhang、Derick Tang、Zhanpeng Zeng、Qinsong Zeng、Ming Chen、Jiaxi Hu、Yuxuan Liang；机构为香港科技大学（广州）与腾讯。
• 版本与时间：arXiv:2610.02816v1，提交于 2026-10-02；未指定版本时，本次查询得到的最新版本为 v1。研读及外部信息查询日期：2026-11-13。
• 原文：本地 PDF；作者主 TeX。文内页码均为从 1 开始的 PDF 页码。
• 发表：暂无法核实。PDF 页眉标为 ICLR 2027，但第一作者主页仍列为 Arxiv 2026，arXiv 记录未列正式发表信息；截至 2026-11-13 未查到会议官方出版或接收记录，因此不据页眉认定已发表。
• 代码：FLA 社区实现已公开，包含 GSA2 层与模型实现；作者官方身份及完整训练发布尚未核实。v1 的复现声明称完整源码将在接收后公开。

论文总览

GSA2 将固定容量记忆的改进拆成两个问题：如何根据潜在槽编码修正被记住的 key，以及如何根据同一个槽编码修正对应的 value。它沿用 Gated Slot Attention（GSA）的两级结构，用第一块矩阵存 key–slot 关联、第二块矩阵存 slot–value 关联；第一层采用新提出的 Gated Oja Rule-2（OJA2），第二层采用 Gated Delta Rule-2（GDN2 中的更新）。两层均分别学习遗忘、擦除和写入控制。

作者在约 1.3B 参数、100B FineWeb-Edu token 的设置下进行评估。纯循环 GSA2 的 WikiText/LAMBADA PPL 为 15.69/10.68，九项准确率均值为 54.08；RULER NIAH 24 个设置的均值为 42.1%，GDN2 为 39.7%；LongBench 均值为 17.3，GDN2 为 16.8。混合 GSA2 也有较强的检索平均表现，但其 WikiText PPL 为 17.23，且 2K 真实检索平均分不及 OJA/OJA2 混合模型。

论文最值得保留的机制认识是：Oja 与 Delta 在数学上具有转置对偶关系，而在两级槽记忆中分别承担 key 修正与 value 修正的不同语义职责。 独立 OJA2 并不比 GDN2 更强；收益来自其在第一阶段的配合方式。并行训练则把顺序秩一更新转成三角系统和稠密矩阵乘法，以一定常数开销换取更强的记忆维护。

结构地图

一：动机——修正关联的哪一侧

1.1 Delta rule 解决的是 key 寻址后的 value 误差

本文采用 $S_t\in\mathbb R^{D_v\times D_k}$ 的状态方向，读取为 $S_tq_t$。Delta rule 用当前 key $k_t$ 对状态寻址，计算 value 预测误差后写回：

它是 $\mathcal L_t^\Delta(S)=\tfrac12\|v_t-Sk_t\|_2^2$ 的一步在线梯度更新。GDN 引入遗忘，KDA 细化到通道遗忘，GDN2 进一步把擦除与写入分开。这些设计主要围绕一块 key 寻址矩阵展开。（Sec. 2.1，PDF pp. 2–3，Eqs. (1)–(3)。）

1.2 GSA 提供两侧接口，但原更新没有预测残差

GSA 用 $M$ 个潜在槽连接 key 与 value：

原始 GSA 的两块记忆用相同槽遗忘门 $\alpha_t\in(0,1)^M$ 更新：

第一阶段将 query 映射到槽空间，第二阶段将槽激活映射到 value。这给出了操作 key–slot 与 slot–value 两种关联的自然位置，但更新本身仍是遗忘加累加。GSA2 的问题就是：能否让两块记忆都带上适合其职责的关联修正？（Sec. 2.2，PDF p. 3，Eqs. (4)–(6)。）

二：方法——Oja 修正 key，Delta 修正 value

2.1 从反向回归得到 Gated Oja Rule

与 $Sk\approx v$ 的 Delta 目标对应，作者考虑从 value 反推 key：

其梯度为 $v_t(S^\top v_t-k_t)^\top$，一步下降得到

两个更新的差别可以直接从矩阵乘法位置看出：Delta 的修正矩阵乘在 $S$ 的右边、作用于 key 寻址轴；Oja 的修正矩阵乘在左边、由 value 方向驱动 key 重建。作者将其称为 Oja correction，是因为它具有带自修正项的 Hebbian 形式；这里的目标是当前关联重建，并未要求先求数据协方差的主成分。

本次分析：转置对偶。 令 $T=S^\top$，则上式变为 $T_t=T_{t-1}+\beta_t(k_t-T_{t-1}v_t)v_t^\top$，就是交换 key/value 角色后的 Delta 更新。GSA2 的设计意义在于将这两种方向放到语义不同的两块记忆上。

OJA 再先施加 value 轴的通道遗忘：

遗忘在修正之前发生，因此预测基点也是衰减后的状态。（Sec. 3.1，PDF p. 3；Appendix A.1，p. 13。）

2.2 OJA2 把擦除与写入分开

令 $b_t\in\mathbb R^{D_v}$ 为擦除门、$c_t\in\mathbb R^{D_k}$ 为写入门，OJA2 更新为

若写成“先遗忘，再沿 $v_t$ 做秩一编辑”，其有效残差是

$b_t$ 控制从已有记忆中扣除多少，$c_t$ 决定哪些 key 通道写入多少；它们不必被同一标量绑定。$b_t=\beta_t\mathbf1$、$c_t=\beta_t\mathbf1$ 时才退化回 OJA。独立门控是从原一步梯度形式进一步推广的记忆编辑机制，不应把任意独立门配置都当成 Eq. (7) 的同一个标量步长。（PDF p. 4，Eq. (10)；Appendix A.2，pp. 14–15。）

2.3 共享槽编码让两侧修正互相配合

GSA2 使用输入投影生成的 $w_t\in\mathbb R^M$ 作为共享槽编码。它在第一层扮演“value”，在第二层扮演“key”：

两层更新分别为

这里的 $w_t$ 是由当前输入生成的写入编码，不是 query 读取第一块记忆后得到的激活。两个记忆有相同的槽坐标，但各自拥有独立的门。

教学例子：一次写入对应哪个槽。 若 $M=2$、$w_t=(0,1)^\top$，所有擦写门为 1、没有遗忘，则第一层把第二行替换成 $k_t^\top$，第二层把第二列替换成 $v_t$，其他行列保持不变。一般的稠密 $w_t$ 则在多个槽方向上进行分布式编辑。这只是更新机制示例，未替代论文实际的学习槽编码。

两块状态共包含 $M(D_k+D_v)$ 个元素。当 $D_k=D_v=D$ 且 $M=D$ 时为 $2D^2$，所以“固定容量”指不随上下文增长；参数量相近并不自动意味着各种方法的循环状态容量相同。（Sec. 3.2，PDF pp. 4–5；Table 1，p. 4；状态元素数为本次分析。）

2.4 读取、归一化与混合模型

更新后先计算槽激活，再读 value：

原 GSA 使用 softmax，让槽激活在总和为 1 的非负权重中竞争；SiLU 对各分量独立变换，不强制和为 1，允许幅值和小的负激活参与读出。作者认为这更适合修正后的槽贡献，实验由替换激活的消融支持。

原图 Fig. 1，PDF p. 5，完整架构图裁切。左侧是混合骨干，右侧从下到上显示输入分支、两块记忆与输出路径：$q,k$ 经线性投影、短因果卷积、SiLU 和 L2 归一化；$v$ 不做此处的 L2 归一化；$w$ 经低秩两层投影、短卷积、SiLU 和 L2 归一化。输出再经 RMSNorm、低秩投影得到的 sigmoid 输出门及线性投影。（Sec. 3.4，PDF p. 6。）

纯循环模型交替放置 GSA2 mixer 和 MLP。混合模型重复 GSA2–MLP–滑窗注意力（Sliding-Window Attention，SWA）–MLP 单元，SWA 窗口为 2K。循环状态保留长程压缩记忆，SWA 对局部窗口保留精确交互；窗口固定时，注意力缓存也有界。

2.5 分块训练：让 OJA2 的顺序依赖进入三角系统

一个 token 的 OJA2 是通道遗忘加秩一变换；连续更新的矩阵乘积可以用紧凑 WY 形式表示。论文为第一阶段推导了对应的 UT 变换，第二阶段直接采用 GDN2 实现。（Sec. 3.3，PDF pp. 5–6。）

以下保留附录的通用 OJA2 维度 $S\in\mathbb R^{D_v\times D_k}$。对长度为 $C$ 的 chunk，$V,B,P\in\mathbb R^{C\times D_v}$，$K,C_{\mathrm w}\in\mathbb R^{C\times D_k}$；其中 $B$ 堆叠擦除门，$C_{\mathrm w}$ 堆叠写入门。为避免与块长 $C$ 混淆，这里把原文的门矩阵 $\mathbf C$ 写成 $C_{\mathrm w}$。

令前缀累计衰减 $p_r=\alpha_1\odot\cdots\odot\alpha_r$，$P$ 的第 $r$ 行为 $p_r^\top$。定义

$\operatorname{lower}$ 只取严格下三角部分，$\oslash$ 是逐元素除法。$L_{ri}$ 包含 $i擦除门 $B$ 进入 $L,T,W$，写入门只直接进入 $U$，因而两者不能像共享标量门那样整体提出。

令 $R=U-WS_{\mathrm{in}}\in\mathbb R^{C\times D_k}$，则状态与读出为

$A_{\mathrm{suffix}}$ 第 $i$ 行为 $\alpha_{i+1}\odot\cdots\odot\alpha_C$，最后一行是全 1；$\operatorname{Tril}$ 保留对角线，允许读到当前 token 的写入。大写辅助矩阵 $W$ 与 token 级槽编码 $w_t$ 是不同对象。（Eqs. (15)、(22)、(26)，PDF pp. 5、14–15。）

附录要求衰减各分量严格为正，以定义累计衰减的除法；三角求解使用 float32。$T$ 写成逆矩阵用于表达，计算可以用前代求解。固定 chunk 长度和各维度后，处理整个序列的代价随长度线性增长；“块内矩阵乘法”不要求对整段上下文形成一个全长注意力矩阵。

三：实验——按模型家族与指标拆开比较

3.1 训练设置与 baseline 来源

本工作训练的模型约 1.3B 参数，在 100B FineWeb-Edu token 上训练，使用 TinyLlama v1.1 的 32K tokenizer。序列长 4096，全局 batch 为 128 条序列，约 0.5M token；AdamW 的 $(\beta_1,\beta_2)=(0.9,0.95)$、峰值学习率 $4\times10^{-4}$、weight decay 0.1、梯度裁剪 1.0。先 warmup 1B token，再余弦衰减到峰值的 10%，使用 BF16。硬件为四节点、共 32 张 NVIDIA H20，CUDA 12.8。（Sec. 4，PDF pp. 6–7；Appendix A.3.1，p. 15。）

比较对象包括 Transformer、Mamba-2、GDN、KDA、Mamba-3 SISO/MIMO、GDN2、GSA、OJA、OJA2。GSA 是原槽架构的直接对照，用于比较加入双侧修正及配套改动后的整体效果；GDN2 是强 value 修正对照；独立 OJA/OJA2 用于判断 key 修正规则单独是否更强。Table 2 中带星号的纯循环 baseline 取自 GDN2 论文，OJA、OJA2、GSA、GSA2 由本工作评测，不能描述成所有 baseline 均在本次重新训练。

3.2 评价指标

Table 2 的 Avg. 实际对 9 个准确率列取均值，即 LAMBADA 加 8 项常识任务；如 GSA2 九项为 50.07、73.56、59.28、60.77、72.77、38.48、30.00、41.30、60.46，平均约 54.08。Table 5 表注称“LAMBADA 加九项”与实际列数不符，应按这九列理解，不额外假设第十个任务。（PDF pp. 6、9、15。）

3.3 吞吐协议

效率实验测的是完整训练 step，不是推理 token/s：单张 H20、约 1.30B 参数的混合模型，固定每步 16384 token。长度/batch 分别为 2K×8、4K×4、8K×2、16K×1，没有梯度累积；覆盖清梯度、前向、融合交叉熵、反向、梯度裁剪和融合 AdamW。token 在 GPU 上随机生成，排除输入管线成本。每个配置丢弃 20 个 warmup step，计时 50 step，在三张不同物理 H20 上重复，报告三次 run 内平均吞吐的中位数，单位 Kt/s（千 token/s）。（Appendix A.3.3，PDF p. 16。）

四：结果——主要收益与任务取舍

4.1 语言建模与准确率：纯循环提升更一致

来源：Table 2，PDF p. 6。纯循环 GSA2 相对 GDN2：WikiText 低 0.21 PPL、LAMBADA 低 0.73 PPL、准确率均值高 0.97 个百分点；相对 GSA 则低 0.83/0.54 PPL，均值高 0.80 个百分点。纯循环 OJA2 明显较弱，支持“作为第一阶段的互补规则有用”，而非独立 key 修正普遍胜过 Delta。

混合 GSA2 的九项均值仍最高，但 WikiText 17.23 比 GDN2 的 16.26 高 0.97 PPL，相对高约 5.97%；也高于本表所有其他混合/注意力模型。这是语言建模上的具体退化，原文没有解释原因。准确率逐项也并非都最好，例如混合 Mamba-3 MIMO 的 HellaSwag 59.45 高于 GSA2 的 58.92。

4.2 2K 真实检索：SWA 改变了记忆承担的任务

来源：Table 3，PDF p. 7，六项 accuracy 均值，输入长 2K；Transformer 为 34.41。纯循环 GSA2 比 GDN2 高 1.38 个百分点、比 GSA 高 4.55 个百分点；其 SWDE 29.97、TriviaQA 63.09 为纯循环组最佳，但 NQ 17.26 低于 GDN 的 20.16。

混合组中 OJA 与 OJA2 均值超过 GSA2。GSA2 的 SWDE/SQuAD 为 51.31/42.26，表现很强，但 FDA 25.05、DROP 20.22 低于 OJA 的 28.86/23.77。作者的解释是：输入被截为 2K，恰等于 SWA 窗口，局部注意力可以直接访问大量相关证据，使循环状态的压力减轻。（Sec. 4，PDF p. 7。）

4.3 RULER：均值收益来自不同子任务

来源：Appendix Tables 6–7，PDF pp. 16–17；均为 accuracy（%），在同一家族内部比较。GSA2 对 GDN2 的 NIAH 增益为纯循环 +2.4、混合 +2.9 个百分点；其他任务均值增益为 +5.8、+7.7 个百分点。

进一步按原细表计算组均值，可以看出不同来源：纯循环 S-NIAH 为 GSA2 72.8 对 GDN2 约 68.6，MK-NIAH 为 11.4 对约 10.8；混合 S-NIAH 约 62.1 对 63.2，反而稍低，但 MK-NIAH 约 39.1 对 32.2，大幅改善。这些组均值是依据细表计算的，不是新的实验。

其他 RULER 任务同样呈现结构性取舍。纯循环 GSA2/GDN2 在 CWE 上的四长度平均约为 41.9/21.6，在 FWE 上为 39.7/21.7，但 MQ 为 43.9/50.2、SQuAD 为 15.6/21.2。混合 GSA2/GDN2 的 MQ 约为 58.8/50.1，MV 约为 59.0/43.4。两侧修正改善了部分复杂提取和多关联操作，不能概括成所有任务都更好。

长度和任务难度仍很关键：纯循环 GSA2 的 MK-NIAH-3 在所有测试长度都是 0；S-NIAH-1 从 4K 的 99.6% 到 8K 的 86.0%，后者低于 GDN2 的 92.8%。混合 GSA2 的 S-NIAH-1 在 8K 仅 24.6%。这些具体数值表明固定记忆与混合架构仍有明显的长度外推边界。

原图 Fig. 2，PDF p. 8。各任务面板在 1K–8K 上平均；颜色区分模型，斜线柱是纯循环，实心柱是注意力/混合。面板覆盖 6 种 NIAH、7 种其他任务及两类汇总。NIAH Mean 与 Cross-Task Mean 分别对 24 与 28 个设置平均，应先看组间差别，再回细表看长度变化。

4.4 LongBench：总均值最好，收益分布不均

来源：Table 4，PDF p. 8；平均的是 11 个基准任务分数，不应统一称准确率。纯循环 GSA2 对 GDN2 高 0.5 分，混合高 0.9 分。Transformer 为 6.0，当前实验的 4K 训练与长文档评测共同决定这一比较条件。

来源：Table 4，PDF p. 8。纯循环均值收益中，TREC 的 +9.5 分贡献很大，但若干 QA 与代码项略低；混合模型在 SAMSum、TREC 等项目提升，同时在 MultiNews、RepoBench-P 下降。论文支持跨任务平均改进，逐任务仍需根据工作负载取舍。

4.5 消融：方向配对、擦写解耦和非线性都重要

所有变体均为 1.3B、100B token。先比较两个阶段采用的修正规则：

来源：Table 5，PDF p. 9。互补方向在多数指标上更好，尤其比双 OJA2 强；双 Delta-2 却在 LAMBADA PPL 和 MK-NIAH 更好。这是支持“整体互补价值”的证据，不能写成每个指标均优于重复规则。

两层门是否解耦。

来源：Table 5，PDF p. 9。仅解耦一侧没有稳定地改善各指标；两侧都解耦给出更好的整体配置，但全耦合的 LAMBADA PPL 更低。

缩放、激活与槽数。

来源：Table 5，PDF p. 9。去除缩放或使用 softmax 都造成较广泛退化；把槽数从 128 加到 256 也没有改善这些汇总指标。这里的 $1/\sqrt d$ 是消融中的常规缩放项，正文紧凑的 Eq. (13) 没有展开其具体放置，不能只据该式实现完整训练块。

Table 5 默认行的真实检索均值为 31.51，Table 3 的纯循环 GSA2 为 31.26；论文未解释这一差异。本笔记分别保留，不将二者混成同一个已对齐的结果。

4.6 训练吞吐：保持长度扩展性，承担额外常数成本

来源：Fig. 3，PDF p. 9；单位 Kt/s，越高越好；表保留作者绘图源码的三位小数，正文四舍五入为 11.82→11.32、14.37→8.60。GSA2 从最短到最长配置下降约 4.24%，Transformer 下降约 40.17%。在 16K 配置，GSA2 比 OJA2 低约 8.56%、比 GDN2 低约 12.73%；原文跨配置概括为约 8.6% 与 12.6%。

原图 Fig. 3，PDF p. 9，保留完整坐标轴与图例的裁切。横轴同时改变序列长度和 batch，但每步 token 数固定；纵轴是训练 Kt/s。GSA2 红线近乎平坦，但在短序列时低于 Transformer，在较长序列时才超过它。结果支持“额外双阶段开销下仍保有有利的长度扩展性”；其常数循环状态是模型性质，这张图没有测解码吞吐。

五：结论——互补编辑有效，但容量、任务与预算都参与结果

GSA2 的主线清楚：GSA 提供 key–slot–value 的双阶段接口，OJA2 在第一阶段编辑 key 侧关联，Delta-2 在第二阶段编辑 value 侧关联，两侧各自解耦擦写。WY/UT 形式则让这些更强的循环更新仍能在 chunk 内用矩阵乘法训练。

最有力的证据包括：纯循环语言建模与平均准确率提升、RULER 和 LongBench 的家族内平均分领先，以及双 OJA2/双 Delta-2/单侧解耦的消融取舍。独立 OJA2 较弱却能在组合中起作用，说明更新方向应与记忆职责匹配。

实际选择仍取决于任务：2K 输入可以由 SWA 直接覆盖，长输入依赖压缩状态；词提取、检索、多文档 QA 与代码并不共享同一排序。默认 128 槽在本组实验最好，增加槽数并没有自然消除固定容量和关联干扰。混合 WikiText PPL 的退化、MK-NIAH 中的失败设置、真实检索默认行的数值差异，都应在进一步实验中具体解释。

后续最有价值的工作，是在相同状态预算下分离“双阶段容量”与“互补修正方向”的收益，明确混合模型的语言建模退化来源，并在更多训练随机种子与更长上下文上评估差异的稳定性。当前吞吐结论来自完整训练 step，部署端还需要单独评测 prefill、循环解码和窗口缓存的成本。