Scaling Linear Attention with Sparse State Expansion：中文研读笔记
- 作者：Yuqi Pan、Yongqi An、Zheng Li、Yuhong Chou、Ruijie Zhu、Xiaohui Wang、Mingxuan Wang、Jinqiao Wang、Guoqi Li。
- 版本：arXiv:2507.16577v2，修订于 2025-10-01；本次获取与研读日期：2026-11-02。
- 原文：本地 PDF；arXiv PDF。下文页码均为从 1 开始的 PDF 页码。
- 发表：已发表于 ICLR 2026 正式论文集，发表题名为 Scaling Linear Attention Capacity with Sparse State Expansion。下文的方法、公式编号与实验数字以 arXiv v2 为准。
- 代码：作者已在 ICLR 官方补充材料 ZIP 公开 SSE-H 模型、配置和稀疏内核代码；该实现依赖外部工程组件，不是完整独立训练工程。
- 配套汇报：英文幻灯片 PDF · 可编辑 TeX。
论文总览
SSE（Sparse State Expansion，稀疏状态扩展）要解决的是线性注意力的记忆如何组织、容量如何扩大。普通线性注意力把历史压进一个固定矩阵，每个 token 都向许多状态行写入信息；带遗忘门时，还会持续衰减这些行。作者把 key 映射解释为“将输入分到记忆行的分类器”，据此提出稀疏写入，并进一步把记忆扩展成多个共享投影参数的分区。每个 token 只读写少量分区，未被选中的分区连衰减也暂停。
这带来两个不同的收益：共享参数允许在近似固定模型参数量下增加状态容量；选择性更新使无关输入较少干扰已有记忆。SSE 的实际结构采用分区间硬 top-k、分区内 softmax 软分配，再加一个始终激活的共享分区。纯 SSE 使用线性递推；SSE-H 每五层 SSE 配一层 softmax attention。
最有说服力的证据是检索改善：2B、100B token 设置下，真实检索平均分从 GLA 的 49.29、GDN 的 53.79 提升到 SSE 的 61.46；混合 SSE-H 为 70.87，Transformer 为 73.00。数学推理方面，SSE-H 在 AIME24/25 达到 64.5/50.2，但同流程 Transformer 为 64.1/52.8，因此受控比较支持“混合线性架构可以保留较强推理能力”。摘要中相对公开小模型的大幅领先，还包含训练流程和数据的差异。（Table 1, p. 10；Table 5, p. 12）
结构地图
| 原文章节 | 在论证中的作用 | PDF 页码与主要证据 |
|---|---|---|
| 1 Introduction | 固定状态的压缩瓶颈与两项贡献 | p. 2 |
| 2 Preliminary | KV cache 与固定矩阵记忆的对比 | pp. 3–4，式 (1)–(5) |
| 3 Row-Sparse State Update: An Information Classification Perspective | key 的分类解释、行相似性与硬选择 | pp. 4–6，Fig. 2–3，式 (6)–(8) |
| 4 SSE: State Expansion under the Row-Sparse Framework | 分区、双向门控与并行实现 | pp. 6–9，Fig. 4–6，式 (9)–(14) |
| 5.1 Language Modeling and Retrieval | 预训练、真实检索、RULER、扩长与转换 | pp. 10–12，Table 1–4 |
| 5.2 Reasoning Ability | 蒸馏与强化学习后的数学能力 | p. 12，Table 5 |
| 5.3 Ablation Study | 容量、softmax、门控与共享参数 | pp. 12–14，Fig. 7–8，Table 6–8 |
| 6 Limitations and Future Work | 更复杂状态转移、路由与扩容训练 | p. 14 |
| 7 Related Work；8 Conclusion | 与 MoM、状态转移研究和混合架构的关系 | pp. 14–15 |
| 9 Contributions | 作者贡献与单位 | p. 16 |
| Appendix A Analyzing State Updating as Information Classification | 几何解释、遗忘分析、MQAR | pp. 21–25，Proposition 1–4，Fig. 9 |
| Appendix B Pseudocode for Efficient SSE Implementations | masking 与 varlen | pp. 26–27，Algorithm 1–2 |
| Appendix C Experiment Details | 配置、12B 转换、感受野、32K 检索 | pp. 27–28，Table 9–11，Fig. 10 |
一：动机——参数容量与上下文记忆容量是两件事
softmax attention 保存历史 key/value，单头缓存大小随长度 $t$ 增长，约为 $2td$ 个元素。线性注意力则维护 $\mathbf S_t\in\mathbb R^{c\times d}$：
这里 $c$ 是 key/query 的特征维度，也是记忆行数；$d$ 是 value 维度。固定 $c,d$ 后，每步状态读写成本与历史长度无关。代价是许多历史片段叠加在同一个小矩阵里。按相同精度、相同单头维度计数，$c=128$ 的 $cd$ 状态与 64 个 token 的 $2td$ KV cache 元素数相等；这只是存储量类比，不代表两者能保存等量可检索信息。（Sec. 2；Sec. 4, p. 6）
直接增大 $c$ 会扩大 Q/K 投影，可能同时增加参数和计算。SSE 希望把“学会如何读写”的参数，与“当前上下文能存多少”的状态容量分开。它借鉴稀疏专家的路由形式，但不同分区主要保存不同的动态上下文状态，共享 QKV 权重。相较 MoM，本文着重研究共享参数、softmax key 和读写双向门控共同形成的记忆组织方式。（Sec. 4.1；Sec. 7）
二：方法——先分类，再对选中的记忆推进时间
2.1 统一递推把“管理旧信息”和“写入新信息”分开
原文式 (6) 为：
$\mathbf\Lambda_t$ 决定旧记忆如何保留或擦除，$\phi(\mathbf k_t)$ 决定新 value 如何分配到各行。GLA 采用输入相关的对角衰减；GDN 采用更有结构的 delta-rule 转移。SSE 的主要创新落在信息分配及状态分区上，实验中的 SSE 使用 GLA 风格转移。
若 $k_t^j$ 很大，第 $j$ 行就接收较强的 $\mathbf v_t$。于是可以把 $\mathbf x_t\mathbf W_k$ 看作分类打分，把状态行看作类别的聚合容器。这些类别是训练得到的特征区域，并没有人工语义标签。Fig. 2 用最大 key 激活为 value 向量着色，呈现聚类；它支持这种解释，但并未提供监督分类准确率。（Sec. 3.1, pp. 4–5）
2.2 从逐行硬选择到可实现的分区稀疏
概念上的行稀疏版本使用：
这里应理解为：保留最大的 $k$ 个 logit，其余屏蔽为 $-\infty$，再对保留项归一化。它会产生真正的零写入。若还要获得“未选中记忆不遗忘”的性质，必须让对应的状态转移为恒等；仅把 key 置零仍会留下 $\mathbf\Lambda_t\mathbf S_{t-1}$ 的衰减。（式 (7)–(8), p. 6；Appendix A）
直接在全部扩展状态行上做 top-k 不利于硬件实现。因此最终 SSE 使用两层决策：先在 $N$ 个分区中硬选 $k$ 个，再在各选中分区的 $c$ 行间用普通 softmax 分配。后一步通常是近零稀疏，不是严格为零，也不是再做一次行内 top-k。（Sec. 4.1, pp. 6–8）
原文 Fig. 4，p. 7。上半部是一块固定状态；下半部展示扩展后的多个分区。蓝色表示当前被路由选中的分区，绿色是始终选中的共享分区。读图关键是：空闲分区仍占存储空间，但本步不参与更新。
2.3 SSE 的逐步计算与符号
以下按单头描述；为避免与 value 维度混淆，用 $D$ 表示输入隐藏维度。
| 符号 | 维度/含义 |
|---|---|
| $\mathbf x_t$ | $1\times D$，当前隐藏表示 |
| $\mathbf q_t,\mathbf k_t$ | $1\times c$，读出方向和行写入权重 |
| $\mathbf v_t$ | $1\times d$，写入内容 |
| $\mathbf S_t^i$ | $c\times d$，第 $i$ 个路由分区的状态 |
| $\mathbf e_t$ | $1\times N$，分区路由概率 |
| $\mathcal T_t$ | 当前选中分区集合，大小为 $k$ |
| $\mathbf\Lambda_t$ | $c\times c$，选中分区的状态转移；实验中为对角门 |
原文式 (9)–(14) 可连成以下过程：
同一个 $e_t^i$ 在写入与读出两端都出现，使路由权重通过输出误差获得连续梯度。top-k 的离散索引本身不提供常规梯度；可训练的是保留下来的门值及其 softmax 参数。查询仍为线性投影，论文没有像 key 一样强制它非负。读写集合可以不同，默认相同。
一个需要按公式理解的细节：v2 p. 8 把选中行的总“分类强度”写成 1，但按式 (9)–(14)，实际为
当 $k 定义 $\widetilde{\mathbf\Lambda}_u^i$：若分区 $i$ 在时刻 $u$ 被选中，取 $\mathbf\Lambda_u$；否则取单位阵。令初始状态为零，将递推展开，可以得到下面的教学推导，暂不写共享分区项： 乘积按时间递推顺序排列；在论文采用的对角转移下顺序不影响结果。这个式子说明三个机制：历史与当前 token 必须路由到共同分区才会发生直接读写关联；双向门值控制关联强度；遗忘只在该分区被访问时累积。 例如某条记忆经过 100 个 token，普通固定衰减 $a=0.99$ 留下 $0.99^{100}\approx0.366$；若它所在分区期间只激活 10 次，则相应衰减为 $0.99^{10}\approx0.904$。这是解释“局部更新时钟”的教学例子，不是论文实验数据。实际保留还取决于新增写入的干扰及查询是否命中该分区。 为了保留连续 token 的局部交互，SSE 加入一个始终激活的共享分区，并对其 Q/K 使用秩 64 的 LoRA，V 继续共享。按 Sec. 5.3 的 $N+1$ 分区描述， 原文行级均衡项为 其中 $f^i$ 是选择频率。SSE 改为分区级均衡，$\alpha=0.01$，意在避免大量 token 涌入少量分区、使其他状态难以训练。均衡项在训练时使用，推理时直接路由。 以单头计，路由状态大小是 $Ncd$，计入共享分区约为 $(N+1)cd$；一次读写的主状态运算约为 $(k+1)cd$。这两项必须分开：稀疏访问减少活跃计算，并不消除未激活状态的存储成本。此外，路由投影有约 $DN$ 个参数，top-k、分组和内存访问也有成本，因此“参数和开销近似不变”适用于作者所测配置，不应解释成随 $N$ 增加绝对零成本。（Sec. 4.1–4.2；本段复杂度为按结构计数） 短序列：masking。 复制 QKV 到分区维，屏蔽不属于该分区的 token，再把分区维合并到 batch/head 维，并行调用线性注意力算子。这样避免产生大量极短的分区子序列；chunk 算子通常在 64、128 等块长上较高效。 长序列：varlen。 按“样本—分区”收集 token，在各分区内保留原时间顺序，为子序列建立新的 实现时有两项不能从示意伪代码里省掉：未选中分区的衰减要变为恒等；分组后的输出要散射回原 token 并进行门控求和。原文 Algorithm 1–2 主要展示调度框架，并未完整展开这两项。 原文 Fig. 6，p. 9。横轴为序列长度，纵轴为前向加反向总时间（ms）；蓝、绿、红分别对应逐分区调用、masking、varlen，不同线型对应 $N=4,8,16$。测试使用 A100、8 heads、head dimension 128、$K=1$、 Appendix A 的论证链为“同类输入形成几何簇 → 跨类混写使行趋同 → 读出区分度下降 → 无差别衰减限制保留跨度”。应将其中条件与实证分开理解。 模型采用 MHA–SwiGLU，并去掉卷积层，以突出注意力机制。600M 模型为 24 层、隐藏维度 1024、8 heads，非嵌入参数 300M；2B 模型为 18 层、隐藏维度 2304、18 heads，非嵌入参数 1.3B。2B 混合模型保留 3 层 softmax attention，其余 15 层为线性层。（Table 9, p. 27；Sec. 5, p. 10） 预训练使用 AdamW，总 batch 为 4M token，线性 warm-up 后学习率 $6\times10^{-4}$，weight decay 0.1，gradient clipping 1.0；扩长时使用 cosine learning-rate decay。12B 转换实验另见结果部分，不能套用 2B 的五比一层结构。 baseline 的角色也不同：GLA 对照相同风格的对角状态转移；GDN 对照更强的 delta-rule 更新；MoM 对照带更多参数的稀疏多记忆方法；GLA-H 对照混合本身的收益；Transformer 提供未压缩历史的参考。MoM 的总参数为 800M、活跃参数 600M，且评测不做 token truncation，因此不能把它简称为与 600M SSE 完全等参数。 以下选择 Table 1 的聚合列，保留不同参数预算。所有常识与检索分数越高越好。 来源：Table 1, p. 10。2B 纯 SSE 相对 GDN 的检索平均分增加 7.67 个百分点，相对 GLA 增加 12.17 个百分点；与 Transformer 仍差 11.54 个百分点。混合后与 Transformer 的差距缩小到 2.13 个百分点。常识平均分已接近或略高于 Transformer，说明这一阶段的主要短板确实集中在精细检索。 600M 的 SSE-n4k1 相对 MoM-n4k1 以较少总参数取得 31.16 对 27.69 的检索分，但不能从这张表推导所有语言指标都更好。原文叙述中“所有任务都超过 GDN”也有例外：600M 的 SWDE 是 SSE 33.30、GDN 33.48；以表中逐项结果为准。 来源：Table 2, p. 11，零样本；原表还给出 2K、4K。最简单的任务很多模型都满分，较难两类才拉开差距。SSE 在 S-NIAH-3 的 2K/4K/8K 为 100.0/88.2/62.2，仍会随长度下降；SSE-H 对应 100.0/99.4/97.4，表明少量完整注意力层补足了压缩状态的检索损失。 预训练到 2T token、再用 250B token 扩到 32K 后，Table 3 的十项平均分为 SSE-H 45.6、Transformer 45.1，增加 0.5 个百分点。MMLU 从 52.6 到 54.5，MMLU-Pro 从 24.2 到 26.1，C-Eval 从 55.9 到 59.7；SWDE、SQuAD、DROP、GSM8K 则略低，例如 GSM8K 为 49.2 对 50.6。这是任务间有得有失的整体接近，不是全面占优。（p. 11） 扩长后 RULER 的 32K 列如下： 来源：Table 11, p. 28。SSE-H 在六类中的五类高于此 Transformer baseline，但最简单单针略低，多 query/value 的绝对分数也仍不高。Table 2 与 Table 11 的训练预算和上下文阶段不同，不能把前者的 Transformer 100 分当作后者的对应控制。 在 2B Transformer 的 128K 长上下文训练阶段替换部分层、继续训练约 100B token，32K 真实检索结果为： 来源：Table 4, p. 12。SSE-H 比 GLA-H 高 8.6 个百分点，但比原 Transformer 低 8.3 个百分点。Qampari 保留较好，Quest 仍损失 13.5 个百分点；“支持转换”应结合这种保真度代价理解。 来源：Table 5, p. 12；AIME 两列为 avg@32。相对 Qwen3-1.7B，SSE-H 的 AIME24/25 分别高 16.2/13.4 个百分点，但公开基线并非相同训练数据与后训练预算。相对作者同流程 Transformer，差值为 +0.4/−2.6 个百分点，MATH500 为 −0.9，OlympiadBench 为 +2.4，AMC23 为 −0.6。合理的核心结论是：SSE-H 能承接蒸馏及 RL，获得与强 Transformer 接近的数学能力。 12B 转换结果也支持这种接近：AIME24 为 SSE-H 74.3 对 Transformer 75.7，AIME25 为 57.3 对 58.7；MATH500 为 96.0 对 95.8，OlympiadBench 为 85.3 对 82.7，AMC23 为 96.3 对 97.2。这里使用 SSE–SWA–SSE–SWA–Softmax 的层序列，在 128K 阶段转换后进行监督蒸馏，包含滑动窗口注意力，不能当作 2B 架构的简单等比例放大。（Table 10, p. 27） 原文 Fig. 7，p. 13；2B 模型，20B 训练 token。横轴为分区数 $N$，纵轴为真实任务平均召回；红线 $k/N=25\%$，蓝线 $k/N=50\%$。两条线均随 $N$ 增长而上升，同一 $N$ 下激活更多分区也更好。这里固定的是激活比例，所以增大 $N$ 同时增大了 $k$ 和每步活跃计算；不能把这张图与 Fig. 6 中固定 $K=1$ 的耗时结果拼成“零计算增量扩容就获得同样提升”。图展示有限配置的趋势，未给出可外推的尺度定律拟合。 原文称 $k/N=1$ 时“退化为 vanilla linear attention”。准确理解是失去跳过分区的稀疏优势；若仍保留不同的 token 路由权重，多分区状态并不由该条件自动代数等价为原来的单一状态。（Sec. 5.3, p. 13；本句为按式 (13)–(14) 的分析） softmax key。 600M/15B token 下，SiLU 改为 softmax 后，FDA/SWDE/SQuAD 从 20.87/26.91/24.90 变为 33.67/33.30/26.51，平均从 24.23 到 31.16，即 +6.93 个百分点。（Table 6, p. 13） 双向门。 在 Table 7 自身的 2B/100B token 消融组内： 双向门比仅读出提高 2.67 个百分点检索，比仅写入提高 5.71 个百分点。这里的完整模型分数 56.63 不同于 Table 1 的 61.46；原文没有解释这两组名义相同规模与 token 数下的差别，因此只在 Table 7 内计算消融效应。（p. 14） 共享参数。 600M/15B token 的共享模型检索分 31.16；每个分区独立参数后，总参数增到 890M、非嵌入参数从 300M 增到 580M，检索反而降到 25.95，常识仅从 42.91 到 42.99。这个实验支持“该设置下，增加独立投影参数不能替代更好的记忆组织”，并未建立任意规模下参数容量都不重要的结论。（Table 8, p. 14） 原文 Fig. 3，p. 5。横纵轴对应状态行，颜色表示行间余弦相似性；越蓝相似性越低。线性分类器的状态行高度同质，softmax 和 SSE 显示更鲜明的对角结构，支持“信息分配更有区分度”的解释。 Fig. 5（p. 8）进一步计算归一化奇异值能量熵： 这里 $n_\sigma$ 表示奇异值数量，以免与分区数 $N$ 混淆。较高熵表示能量分散在更多奇异方向；SSE 的整体平均高于 GLA，说明状态较少集中在少数方向。这是表示诊断，不是直接以 bit 计量的记忆容量。 Fig. 8（p. 13）把 key 中小于 $10^{-5}$ 的通道视为近零：路由分区的平均比例约 41.6%，共享分区约 4.9%，GLA 接近 0。它说明共享分区趋向密集保存局部信息，路由分区更具选择性；并不表示 softmax 本身产生了 41.6% 的数学零值。 原文 Fig. 9，p. 25。三列分别为 GLA、GSA、MetaLA，上下两行分别在 key-value 与 query 之间加入零 token、随机噪声 token；横轴为模型维度 64–512，纵轴为召回准确率。实线是 top-k 版本，虚线是原模型。实验为两层、两头，$k=d/4$。稀疏版本通常表现更高且随维度增长更稳定，尤其能减轻噪声插入带来的干扰。 Appendix C 的 Fig. 10（p. 28）对 8K 训练的 2B 模型，用最后 128 个 token 和门值阈值 0.001 估算各层感受野，SSE 各层均值普遍高于 GLA；阴影表示标准差。该量直接衡量门衰减路径的有效跨度，与检索准确率是不同测量。 SSE 的贡献可以沿一个完整因果设计链理解：key 的分类视角 → 减少无关写入与无关衰减 → 多分区共享参数扩容 → 用变长并行算子把稀疏结构转化为计算收益。实证中，检索是最突出的改善方向；少量 softmax 层进一步提升精细召回，使 SSE-H 在充分训练和推理后训练后接近同流程 Transformer。 应用上需要同时考察三种资源：模型参数、持久状态存储、每 token 活跃读写计算。增加 $N$ 主要扩大存储；增加 $k$ 则增加活跃计算；SSE-H 的 softmax 层仍有随上下文增长的 KV cache，整模型不再具有纯递推模型的严格常数上下文内存。Fig. 6 的算子结果也尚不能替代端到端吞吐与显存测量。 后续最值得检验的是：在固定活跃计算下怎样选择更大的状态容量；用包含历史状态的路由 $\mathbf e_t=g(t,\mathbf x_t,\mathbf S_{t-1})$ 改善“写入分区与未来查询分区不匹配”；以及把 SSE 与 delta-rule 转移结合。v2 已将 GDN 作为 baseline，但尚未充分评估 SSE 加在 GDN 转移上 的组合。作者还提出从已有 checkpoint 扩容的 up-training 方向；这些是后续工作，不能视作本文已经完成的实验。（Sec. 6, p. 14）2.4 稀疏更新为什么有助于长距离保留
2.5 共享分区、负载均衡和容量账目
n4k1 包含四个路由分区和一个共享分区，每步访问一个路由分区加共享分区。因此 $k/N=1/4$ 是路由部分的激活比例。（p. 8；p. 14；Appendix C, p. 27）2.6 并行实现保留了分区内部的因果顺序
cu_seqlens。路由部分共约 $kL$ 条 token 记录，可用一次变长算子调用处理所有分区，最后按原位置聚合输出。共享分区也能融合进去。解码阶段只对选中状态做递推，prefill 则继续用分块计算。（Sec. 4.2, pp. 8–9；Appendix B, pp. 26–27）
cu_seqlens=[0,L/2,L]。短序列 masking 有竞争力，长序列 varlen 更好；固定 $K$ 时 varlen 的三条曲线较接近。该图比较 SSE 算子实现，不能直接读作整模型相对 Transformer 的训练或生成加速比。2.7 理论支持及其具体适用条件
三：实验——不同训练预算分别回答什么
3.1 模型、预算与比较角色
实验阶段 数据/上下文 回答的问题 小规模预训练 600M/15B token；2B/100B token；最长 8K 相同基础训练下，SSE 的语言和检索能力如何？ 数据扩展及扩长 2B SSE-H 与 Transformer 预训练到 2T token，再用 250B token 扩到 32K 优势能否保留到更充分训练和更长上下文？ 2B Transformer 转换 128K 长上下文训练阶段，约 100B token；评测长度 32K 用 SSE 替换部分注意力层后能保留多少检索能力？ 推理后训练 约 80K 蒸馏样本、5 epochs；GRPO 230 步；每 prompt 采 8 条，最长生成 32K 混合架构能否支撑数学推理训练？ 状态扩容消融 2B/20B token 分区数 $N$ 与激活数 $k$ 如何影响召回？ key/参数共享消融 600M/15B token softmax key 与共享参数各自贡献多少？ 双向门消融 2B/100B token 读、写两端的路由权重是否都重要？ 3.2 指标如何读
Wiki.↓ 为原表语言建模指标；常识平均分来自 PIQA、HellaSwag、WinoGrande、ARC-e、ARC-c、SIQA 六项，越高越好。Recall-Avg. 为三项等权平均。v2 未展开三者的评分器细节，以下沿用原文分数口径。avg@32 是把评测集重复采样 32 次后求平均正确率；它不是“32 次中有一次成功”的 pass@32。采样温度为 1.0，top-p 为 0.7。其他数学列沿用原表报告，不能全部改标 avg@32。（Sec. 5.2, p. 12）四：结果——收益主要体现在哪里
4.1 Sec. 5.1：基础预训练的检索改善大于语言指标变化
模型与预算 Wiki.↓ 常识平均↑ 检索平均↑ Transformer，600M/15B token 33.47 42.22 55.95 GLA，同预算 43.97 41.53 18.63 GDN，同预算 35.26 43.05 24.84 SSE-n4k1，同预算 35.52 42.91 31.16 SSE-n4k2，同预算 35.33 43.05 31.86 MoM-n4k1，800M 总/600M 活跃，15B token 36.05 42.64 27.69 MoM-n4k2，同 MoM 预算 35.11 42.78 28.27 Transformer，2B/100B token 16.46 53.55 73.00 GLA，同 2B 预算 21.30 49.13 49.29 GDN，同 2B 预算 17.08 54.05 53.79 SSE-n4k1，同 2B 预算 16.92 54.57 61.46 GLA-H，同 2B 预算 17.27 53.15 67.52 SSE-H-n4k1，同 2B 预算 16.47 54.48 70.87 4.2 Sec. 5.1：8K 单针检索显示压缩误差的差别
2B/100B token 模型 S-NIAH-1，8K S-NIAH-2，8K S-NIAH-3，8K Transformer 100.0 100.0 100.0 GLA 87.6 23.2 16.2 GDN 100.0 8.2 9.0 SSE-n4k1 100.0 85.2 62.2 GLA-H 100.0 100.0 70.8 SSE-H-n4k1 100.0 100.0 97.4 4.3 Sec. 5.1 与 Appendix C：更充分训练后，混合模型整体接近
任务 Transformer SSE-H-n4k1 S-NIAH-1 99.4 93.6 S-NIAH-2 70.8 84.4 S-NIAH-3 67.4 90.2 MK-NIAH-1 55.4 64.6 MQ-NIAH 28.6 44.6 MV-NIAH 18.1 40.6 4.4 Sec. 5.1：从已有 Transformer 转换，比从零训练更贴近迁移需求
模型 Quest Qampari Table Query 平均 原 Transformer 49.1 71.5 60.6 60.4 转换 GLA-H 25.6 56.6 48.2 43.5 转换 SSE-H-n4k1 35.6 70.6 50.0 52.1 4.5 Sec. 5.2：数学推理要区分公开模型排名与受控架构比较
模型 AIME24 AIME25 MATH500 OlympiadBench AMC23 Qwen3-1.7B Thinking 48.3 36.8 93.4 — — DeepSeek-R1-Distill-Qwen-7B 55.5 39.2 92.8 — — 作者 Transformer-2B 64.1 52.8 93.0 83.3 92.0 作者 SSE-H-n4k1-2B 64.5 50.2 92.1 85.7 91.4 4.6 Sec. 5.3：扩容有效，但不同曲线的计算预算也在变化
4.7 Sec. 5.3：softmax key、双向门和参数共享都有独立贡献
门值应用位置 检索平均 常识平均 写入和读出 56.63 53.63 都不使用 51.87 53.01 仅写入 50.92 52.82 仅读出 53.96 52.91 4.8 状态诊断与 MQAR：机制解释有对应观测
五：结论——稀疏访问把状态容量变成可独立调节的资源