# Linear Attention 的拥挤赛道：增加 state 容量，还是提高 state 利用率？ **基于本地论文库的专题分析 · 2026-10-20** **配套组会汇报（英文，约 25 分钟）：** [查看幻灯片 PDF](assets/e36973fdb4f8-slides.en.pdf) · [下载可编辑源码 ZIP](assets/09a6dcdabe98-slides-source.zip) **判断：这个方向已经非常拥挤，尤其是“给固定状态多一点空间”和“让同一状态少受干扰”两条主线。** 从高阶张量、稀疏槽表、多记忆路由，到预条件、独立擦除、查询修正、时间分区和状态训练，主要设计环节都有多组相邻工作。新方法需要回答的已经是：相对这些近邻，究竟在什么资源预算、什么记忆负载下改善了哪一种失效。 本次以 `paper-readings` 为统计总体：**135 篇独立论文，136 个来源版本，138 份中文笔记**。按 arXiv 编号或独立 GitHub 来源去重，选用每篇本地已有的最高版本与最高笔记修订。纳入 **45 篇直接相关论文（A）和 23 篇机制近邻（B），共 68 篇**；另 67 篇在末尾说明边界。B 包括 SSM、非线性快权重、显式记忆和综述，**68 不是“68 种纯 linear attention 算法”**。这是用户论文库的专题整理，不是全球论文数量统计，也不以收录数量代替学术质量判断。 文中的“作者报告”保留各篇的实验条件；“本次分析”用于统一符号、归类和推导。核心数值对照本地原文 PDF/TeX，全部相关论文的题名、版本、笔记与原文链接见第 8 节。图表由 Matplotlib 绘制，统计图来自去重清单，实验图来自指定论文，未混合不同论文的分数制作排行榜。 ## 1. 为什么可以说已经非常拥挤 ![图 1：本地相关论文的研究分布](assets/2942c37944a0-01-corpus-landscape.png) 图 1 的分类按主要贡献互斥计数：扩容与多记忆 6 篇，写入/读取/容量调度 11 篇，时间尺度/状态变换 11 篇，核与压缩表示 4 篇，压缩与显式检索组合 8 篇，训练与转换 8 篇，状态存储与服务 6 篇，机制/理论/综述 7 篇，快权重近邻 7 篇。颜色区分 A/B；这反映本地库的研究覆盖面，不代表全领域的发表占比。 拥挤更直接的证据是**创新动作的密集重叠**： | 一个自然的研究想法 | 已经存在的近邻 | 新工作需要进一步说明什么 | | --- | --- | --- | | 把状态变大，但少增加慢权重参数 | Triadic、SDM、MoM、FwPKM | 扩大的内容地址、总存储、学习初态和真实访问成本各是多少 | | 不让所有 token 修改同一块记忆 | MoM、SDM、Proteus、CyFA | 是增加了总记忆，还是在等总预算下改善了隔离与调度 | | 根据历史几何调整写入 | PDN、OSDN、KDN、Bayesian Layer、Lattice | 对角/稠密统计、写入方向和局部正交分别贡献什么 | | 不只做普通 delta 更新 | EDA、Q-Delta、MDN、DeltaProduct、SRWM | 新增擦除、反馈、动量或多步计算是否值得额外成本 | | 改善旧信息的保留时间与表示 | DSLA、MS-GLA、FRAC、SpectralShift、Selective RoPE、CKDA、SFDA | 长寿命信号、噪声积累和状态追踪能否同时改善 | | 给线性状态配一个精确记忆通道 | BASED、Samba、LoLA、HOLA、NAtS-L、KVM | 缓存大小、选择规则和分支分工的独立作用是什么 | | 让状态在训练时真正学会承担任务 | JRT、HedgeCATs、DAT、LengthGen、HypeNet | 推理架构变化与训练、蒸馏、输入顺序的收益能否分开 | | 把节省的字节和带宽变成可用资源 | StateReduction、DAMP、LeapQuant、DeltaLog | 节省来自裁剪、精度还是写回调度，能否在同质量下成立 | ![图 2：代表方法干预哪些环节](assets/68f603593685-02-mechanism-overlap.png) 图 2 选取 34 个代表工作，标记其干预环节；**色块是本次机制分类，既不是提升幅度，也不是作者认可的统一分类**。“内容容量增加”与“辅助状态增加”分列：MDN 的动量、CCQ 的协方差、KDN 的不确定性都占资源，却不直接增加主内容记忆的地址数。一个方法可以横跨多列，因此实际的近邻关系比主分类更密集。 这里的“拥挤”并不意味着问题已经解决。原文中的剩余缺口很具体：大状态仍会在多事实检索中失效；局部回归更准确未必改善最终召回；混合模型可能主要依赖显式 KV；固定状态可以一直运行，却不能因此无损保存任意多的新事实。**竞争密度高和基础瓶颈尚存，可以同时成立。** ## 2. 先定义 state：四种容量不能混为一谈 ### 2.1 内容维度、总字节、可用地址与任务能力 统一采用列向量记号，单头关联状态为 $S_t\in\mathbb R^{d_v\times d_k}$。最简单的线性记忆是 $$ S_t=S_{t-1}+v_tk_t^\top, \qquad o_t=S_tq_t. $$ 忽略归一化与门控时，输出为 $o_t=\sum_{i\le t}v_i(k_i^\top q_t)$。它把显式历史变成固定统计；这里“linear”首先指状态计算结构，不表示整个神经网络没有非线性。核归一化的线性注意力还需要分母统计，例如 $z_t=\sum_{i\le t}\phi(k_i)$。GLA、DeltaNet、SSM、固定槽 softmax 和记忆网络也有不同递推，不能全部当作这个最简公式的同一实现。 | 容量概念 | 应如何计量 | 容易产生的误判 | | --- | --- | --- | | **名义内容状态** | 所有层、所有头的内容元素数，例如 $\sum_{\ell,h}d_{k,\ell h}d_{v,\ell h}$ | “参数差不多”不代表序列状态差不多 | | **总运行时存储** | 内容状态 + 协方差/动量/统计 + 日志/补偿 + 卷积状态 + 精确 KV；逐项记录 dtype | 主矩阵没变，却多存了一块同规模辅助矩阵 | | **可区分的地址与可实现的变换** | key 的独立方向、槽位组织、路由可达性、允许的转移族 | 多一些 value 通道不一定能多保存同样数量的独立 key | | **任务有效容量** | 指定事实负载、距离、数据分布和准确率门槛下，可可靠使用多少新关联 | PPL、稳定秩或单针准确率不能单独代表全部记忆能力 | 多头同样要看约束：**固定每头维度而增加头数**会扩大状态；固定总投影宽度时，更多头通常会缩小每头维度，状态总元素数不一定增加。比较时应直接报告形状与元素数，不能只报 head 数。 本次建议把存储写成 $$ B_{\mathrm{runtime}}^{\mathrm{seq}} =B_{\mathrm{content}}+B_{\mathrm{aux}}+B_{\mathrm{KV}}+B_{\mathrm{buffers}}, $$ 并另报共享慢权重、可学习初态、训练优化器状态以及服务中的检查点数量。推理持久状态、训练峰值显存、单个 GPU 内核的工作集，是不同资源指标。 更有解释力的利用率指标是在**相同任务、value 信息量和准确率门槛**下，比较每 MiB 总运行时状态可支持的独立随机关联数。它需要配合实际延迟和训练预算；不存在脱离任务分布的统一“state 利用率百分比”。 ### 2.2 容量与利用率为什么相关，又为什么不能互相代替 对普通线性读出，若一组固定 keys 组成 $K=[k_1,\ldots,k_N]\in\mathbb R^{d_k\times N}$，要求同时恢复任意 values $V$，就需要解 $SK=V$。当 $N>d_k$ 时，一般无法对任意独立 $V$ 精确成立。这个理想化事实说明了**地址方向**的重要性；它不是对多层、带门控、非线性读出模型的通用容量定理。 有限精度还有更基本的约束。以下是本次教学推导：设一个完整状态含 $M$ 个、每个 $b$ bit 的元素，任务要求在读完后，对任意一个已知索引准确返回其独立取值，取值集合大小为 $Q$。若要对全部 $Q^N$ 种赋值无误，至少需有 $$ 2^{bM}\ge Q^N, \qquad N\log_2Q\le bM. $$ 这只针对新随机值、全部赋值均需正确的任务。现实文本有冗余，可以压缩；但改进利用率不能突破这种任务中的有限存储计数约束。**扩容改变可存信息的上限，利用率决定模型离现有资源所允许的能力还有多远。** 状态稳定秩 $\|S\|_F^2/\|S\|_2^2$、key 条件数、读写方向重叠可用于诊断；它们都不能独自证明事实可被正确读取。[StateReduction v3](../../../paper-readings/StateReduction-2602.04852/v3/r1/reading-notes.zh.md) 与 [LinearAttn-Memory v1](../../../paper-readings/LinearAttn-Memory-2609.33093/v1/r1/reading-notes.zh.md) 分别提供了谱诊断和因果干预的实例。 ### 2.3 六篇基础工作，作为后续方法的参照 这些是本次在线核对的原始来源，不加入本地 135/68 的计数： | 基础工作 | 与两条主线的关系 | | --- | --- | | [Transformers are RNNs（2020）](https://arxiv.org/abs/2006.16236) | 将核化注意力改写为可递推的固定统计 | | [Linear Transformers Are Secretly Fast Weight Programmers（2021）](https://arxiv.org/abs/2102.11174) | 将线性注意力连接到快权重与误差修正写入 | | [Gated Linear Attention（2023）](https://arxiv.org/abs/2312.06635) | 内容相关门控与高效训练，成为大量状态利用率工作的基线 | | [Parallelizing Linear Transformers with the Delta Rule（2024）](https://arxiv.org/abs/2406.06484) | 让 delta 递推可高效分块训练，支撑后续更新规则研究 | | [Gated Delta Networks（2024）](https://arxiv.org/abs/2412.06464) | 组合遗忘和 delta 修正，成为扩容与抗干扰方法的共同底座 | | [Kimi Linear / KDA（2025）](https://arxiv.org/abs/2510.26692) | 更细粒度的遗忘控制与专门分块算法，是许多新方法的直接比较对象 | ## 3. 主线一：增加 state 容量 ### 3.1 扩大地址，而不是只扩大投影：Triadic [Triadic v1](../../../paper-readings/Triadic-2609.36529/v1/r1/reading-notes.zh.md) 把单次 $v_t\otimes k_t$ 写入变成 $v_t\otimes k_t\otimes k'_t$，第二 key 维度为 $E$。忽略遗忘和 delta 的基础式为 $$ \mathcal S_t=\mathcal S_{t-1}+v_t\otimes k_t\otimes k'_t, $$ $$ o_t=\sum_{i\le t}v_i(k_i^\top q_t)(k_i'{}^\top q'_t). $$ 展平联合地址 $\kappa_t=k_t\otimes k'_t$ 后，状态是 $d_v\times(d_kE)$ 矩阵。**它真正扩大了内容地址空间**，同时利用乘积结构，只需增加短的第二 key/query 投影，而不是直接学习一整套 $d_kE$ 维投影。按片遗忘与联合 delta 更新进一步控制使用方式；所以它兼有容量和组织收益。 代价也明确：稠密内容状态、跨块传递和逐 token 访问随 $E$ 增长。“少加参数”并不是“少加状态”。400M GDN 从 6.3 MB 到 50.3 MB，参数从 380.9M 到 385.4M；作者表格按每元素 2 字节计量。训练内核的 FP32 工作集不能直接套用这个字节数。 ![图 3：同一论文中，增加状态与改变组织方式的差异](assets/1b6ae9a33204-03-triadic-capacity.png) 图 3 根据 Triadic **Table 1（PDF p.6）、Table 2（p.7）**重绘，均为 400M 类 GDN；400M 结果是三个训练种子的均值，图中不虚构误差条。横轴是按 2 字节/元素计量的状态 MB，采用以 2 为底的对数刻度。灰点是扩大 head/value 等替代方案，绿线是从头训练的 Triadic，橙点是扩容后继续训练的 E=8。Transformer 虚线仅作任务参照，其 KV 随长度增长，不代表等固定状态预算。 这组结果同时说明三件事： 1. **扩容确实有用**：E=1→8 时，六任务召回均分 26.2→33.1，PG19 16K–64K PPL 14.15→13.74。 2. **同样大的状态，组织和参数分配仍重要**：4 倍状态下，Triadic 的召回为 31.1，而大 head / 分组 value / 宽 value 为 28.5 / 27.3 / 27.5。参数预算迫使部分替代方案缩窄 MLP，因而不能把全部差异归因于“存储格式本身”。 3. **容量相同，训练经历仍重要**：50.3 MB 下，E=8 从头训练为 33.1，后期扩容为 29.7；增加可用坐标并不意味着模型已学会使用它们。 在另一项 1.3B、H100 单块前向+反向测试中，8 倍状态增加约 28%–30% 耗时；这是专门内核利用结构的结果，不能直接解释成端到端训练或生成都只增加 30%。1.3B 的四项 NIAH 曲线在 64K 仍明显落后 Transformer（Fig.3，p.7；效率见 Sec.3.5，p.8）。 ### 3.2 大而稀疏访问：SDM 与 FwPKM [SDM v1](../../../paper-readings/SDM-2607.07386/v1/r1/reading-notes.zh.md) 维护 $N\times d_v$ 的显式记忆表，每 token 只选 $W$ 个槽写入、$R$ 个槽读取。主要内容访问由 $W,R$ 控制，总存储由 $N$ 控制。乘积键将寻址拆为两个子空间，避免扫描完整 $N$ 槽表。 $$ \text{内容存储}=O(Nd_v),\qquad \text{内容读写}=O((W+R)d_v). $$ 这里没有写成“扩容完全不增加计算”，因为子键投影、top-k 和不规则访存仍有成本。默认 $W=R=64$；寻址子空间还会随 $\sqrt N$ 变化。低 FLOPs 的稀疏访问也可能比驻留在片上存储的稠密更新更慢。 尤其要重视其预算口径：**论文的 Params 明确排除了 SDM 记忆，默认初始记忆 $M_0$ 可学习。** Table 1（PDF p.6）中，8.14B 档位的全部全局层状态由 GDN 的约 2.2M 元素增至 SDM 的 7.963B 元素；这是数量级的存储改变。若全部按 2 字节稠密保存，后者约 15.9 GB，此处只是按表内元素数换算，不是作者实测的服务峰值显存。 8B 档位 RULER 13 任务、4K–131K 多长度平均为 GDN 34.2、SDM 50.2、FullAttn 61.2。1.4B 消融中，去掉可学习初态后 SDM 仍为 28.0，高于 GDN 的 20.0；学习初态后为 31.2。因而既有在线容量收益，也有额外参数记忆收益。作者报告 8B 的 SDM 训练吞吐比 GDN 慢约 1.49 倍，不能把 isoFLOP 写成同速度（Tables 2–3，pp.8–9）。 [FwPKM v2](../../../paper-readings/FwPKM-2601.00671/v2/r1/reading-notes.zh.md) 是相邻路线：大值表配稀疏寻址，在块边界用局部目标更新快键和快值，属于测试时学习。它还涉及重读次数和快权重共享协议。两者都在“用少量激活访问大记忆”，但 SDM 的稀疏 delta 层和 FwPKM 的局部训练记忆不是同一个更新算法。另需注意，SDM v1 的逐槽更新式与图示/附录中的联合稀疏回读存在差异；复现时应先确认具体残差定义，不直接采用正文所称的“精确恢复 GDN”等价关系。 ### 3.3 多个状态、不同职责：MoM、DSLA、MDN [MoM v4](../../../paper-readings/MoM-2502.13685/v4/r1/reading-notes.zh.md) 让 token 路由到部分独立循环记忆，另有共享状态。总记忆更多，部分历史不再被每个 token 覆写，因而**扩容与干扰隔离同时发生**。主配置是 4 个路由记忆、激活 2 个，另加 1 个共享记忆。即使固定激活预算，未激活状态也必须保存；不能据此声称等总状态。 [DSLA v3](../../../paper-readings/DSLA-2506.09316/v3/r1/reading-notes.zh.md) 的双状态采用不同遗忘门，混合历史与近期信息。它既付出额外矩阵存储，也改变时间尺度。如果只拿单状态作对照，不能判断收益有多少来自双倍资源、有多少来自门控分工。 [MDN v1](../../../paper-readings/MDN-2605.05838/v1/r1/reading-notes.zh.md) 则提醒我们区分**内容扩容与优化辅助记忆**：它维护内容 $S_t$ 和动量 $M_t$ 两个矩阵，后者累积历史残差方向。同尺寸下总矩阵元素约为单状态的两倍，但主内容地址没有简单翻倍。把 MDN 当作“更好优化器”比较时，应与同总字节的宽状态、双时间尺度状态或其他辅助统计比较。 ### 3.4 精确 KV、核特征与神经快权重也在争夺同一预算 **精确缓存是对总记忆系统的扩容。** [HOLA v1](../../../paper-readings/HOLA-2607.02303/v1/r1/reading-notes.zh.md) 直接在 GDN 旁加有限 KV，[LoLA v3](../../../paper-readings/LoLA-2505.23666/v3/r1/reading-notes.zh.md) 在混合模型中重新分配局部窗口和全局保留槽位。二者还利用残差或自召回误差选择条目，所以不能把它们归为单纯“更多缓存”。[NAtS-L v2](../../../paper-readings/NAtS-L-2602.03681/v2/r1/reading-notes.zh.md) 学习块级存储选择，[KVM v5](../../../paper-readings/KVM-2605.09877/v5/r1/reading-notes.zh.md) 允许固定槽或增长槽；增长槽版随长度变化的复杂度需要单列。 **核特征也决定状态尺寸。** 二阶 Taylor/多项式特征可能把 key 特征维度扩展到二次量级。[BASED v2](../../../paper-readings/BASED-2402.18668/v2/r1/reading-notes.zh.md) 在这一方向上结合小窗口与 IO 设计；[OAL v1](../../../paper-readings/OAL-2610.13674/v1/r1/reading-notes.zh.md) 学习的系数很少，却仍保存原始维度对的二阶状态。不能用“只增加少量可学习参数”来代替运行时容量和成本分析。[SANATAN v2](../../../paper-readings/SANATAN-github/v2/r1/reading-notes.zh.md) 的 $6d$ 显式映射及 p=1 精确递推同理，精确针对选定核，而非精确恢复 softmax。 **非线性快权重改变假设空间。** [TTT v4](../../../paper-readings/TTT-2407.04620/v4/r1/reading-notes.zh.md)、[LaCT v1](../../../paper-readings/LaCT-2505.23884/v1/r1/reading-notes.zh.md)、[MoNe v1](../../../paper-readings/MoNe-2608.17616/v1/r1/reading-notes.zh.md) 把一个小网络的权重当状态。更复杂的映射可能在同类输入上压缩更多规律，也引入更多参数、激活与更新计算。它们是重要近邻，不能仅凭“都是 memory”就声称和同字节 DeltaNet 存在普遍容量排序。 ## 4. 主线二：提高 state 利用率 与其问“状态有没有更满”，更有意义的是沿生命周期问：**写入是否必要、是否破坏旧内容、能保留多久、查询是否能读到、训练是否让该路径真正参与任务。** ### 4.1 改善写入几何：预条件、不确定性与正交更新 普通 delta 以当前误差修正状态： $$ r_t=v_t-S_{t-1}k_t, \qquad S_t=S_{t-1}+\beta_t r_tk_t^\top. $$ 当历史 keys 高度相关时，沿 $k_t$ 更新会影响其他非正交地址。这是 **PDN / OSDN / KDN / Bayesian Layer / Lattice** 密集竞争的共同问题。 **预条件写入。** 让读残差仍使用 $k_t$，写回改用 $\widetilde k_t$： $$ S_t=S_{t-1}+\beta_t(v_t-S_{t-1}k_t)\widetilde k_t^\top. $$ [PDN v1](../../../paper-readings/PDN-2604.21100/v1/r1/reading-notes.zh.md) 用历史 key 的逐维二阶统计产生有界缩放；[OSDN v1](../../../paper-readings/OSDN-2605.13473/v1/r1/reading-notes.zh.md) 在线学习对角预条件器。它们通常只需 $O(d_k)$ 辅助状态，重要实现点是**不把残差读取键和写入键同时替换**。 **更完整的历史几何。** [KDN v1](../../../paper-readings/KDN-2609.07816/v1/r1/reading-notes.zh.md) 从 Kalman 视角以不确定性增益控制残差写入，实用变体用对角或各向同性统计；[BayesianLayer v3](../../../paper-readings/BayesianLayer-2605.31163/v3/r1/reading-notes.zh.md) 保留稠密协方差以改变写入方向。若已有内容状态是 $O(d_kd_v)$，再增加 $O(d_k^2)$ 协方差，就不能称为严格相同总 state；当 $d_k\approx d_v$，这项开销可能与内容矩阵同量级。 **局部正交保护。** [Lattice v2](../../../paper-readings/Lattice-2504.05646/v2/r1/reading-notes.zh.md) 对单个槽向量 $s$ 的更新方向做类似 $$ \Delta s\propto (I-\widehat s\widehat s^\top)g, \qquad \widehat s=s/\|s\|, $$ 的投影，再进行归一化控制。这里是本次统一记号的几何示意：更新在当前槽方向的正交补内，不代表全部槽彼此正交，也不保证所有旧关联不受损。它强调以更新几何提高压缩效率，而不是直接增加槽位。 这些方法共同的检验难点是：**当前 key 的回归误差下降，并不保证未来 query 下所有历史事实都更好。** OSDN 的 1.3B 结果就是明确反例：局部残差比 0.432→0.265，重复召回却 0.227→0.217。应把局部代理指标和最终检索一起报告。 ### 4.2 将清理、写入和查询反馈分开 [EDA v1](../../../paper-readings/EDA-2606.26560/v1/r1/reading-notes.zh.md) 增加独立擦除地址 $e_t$。统一为本报告的状态方向，可写作 $$ \widehat S_t=S_{t-1}D_t, \qquad \widetilde S_t=\widehat S_t(I-\gamma_te_te_t^\top), $$ $$ S_t=\widetilde S_t+\beta_t(v_t-\widetilde S_tk_t)k_t^\top. $$ 这允许先在 A 方向清理，再在 B 方向修正写入；普通 delta 把清理与写入绑在同一个 key 上。擦除是方向性操作，其他非正交关联也会受影响，模型需要学会何时值得清理。主内容矩阵形状不变，但增加投影、状态访问和计算。顺序不能任意交换。 [Q-Delta v1](../../../paper-readings/Q-Delta-2606.08804/v1/r1/reading-notes.zh.md) 把 query 对旧状态的读出纳入残差信号。变化发生在“本次应如何修改状态”的计算，仍沿 key 写回；主内容矩阵不变。它与 EDA 的独立删除、PDN 的写入预条件是不同自由度。 [DeltaProduct v7](../../../paper-readings/DeltaProduct-2502.10297/v7/r1/reading-notes.zh.md) 每 token 做多次 Householder 型更新；[MDN v1](../../../paper-readings/MDN-2605.05838/v1/r1/reading-notes.zh.md) 用动量累积方向。它们也让同一主状态产生更丰富的演化，但分别支付多步计算或辅助存储。**更强的状态更新能力，应以更多更新的直接对照衡量，而不只比较一次标准 delta。** ### 4.3 区分“状态里还有信息”和“查询能读取信息” [CCQ v2](../../../paper-readings/CCQ-2606.01294/v2/r1/reading-notes.zh.md) 保留骨干写入，在读取前使用历史 key 的协方差修正 query： $$ q_t^{\mathrm{clean}}=(I-\lambda_t\Sigma_t)q_t, \qquad o_t=S_tq_t^{\mathrm{clean}}. $$ 它压低高方差方向的读取分量，核心针对读出时的混合与噪声；同时需要协方差矩阵和均值。原文一些检索结果改善很大，但端到端解码吞吐约下降 35%。更关键的是，附录 E 中训练后关闭即时修正仍保留多数收益，因此还应检验它是否通过训练改变了上游特征，而不把全部作用解释为推理时的瞬时“清洗”。 [MesaNet v2](../../../paper-readings/MesaNet-2506.05233/v2/r1/reading-notes.zh.md) 是另一种读出路线：保存交叉统计 $G_t$ 和 Gram 统计 $H_t$，求解 $$ (H_t+\Lambda)q_t^*=q_t, \qquad o_t=G_tq_t^*. $$ 这里 $\Lambda$ 是正定正则。共轭梯度迭代数成为可调的读取计算预算：不是扩大主内容地址，而是更认真地利用已有统计。额外 Gram 存储和求解时间也应计入；有限次迭代不等于数值上精确的回归解。 [LinearAttn-Memory v1](../../../paper-readings/LinearAttn-Memory-2609.33093/v1/r1/reading-notes.zh.md) 提供了必要诊断：内容写入、查询前状态和查询输出的反事实替换，可以分开测量写入、保留、读出。其被测多事实任务中，信息竞争比单纯增加间隔更有破坏性；混合模型的直接身份信息又可能主要在 FA KV 中。对“提升利用率”的主张，这类路径干预比单看状态范数更有说服力。 ### 4.4 用时间组织容量：慢尺度、相位与相对时间槽 这一子方向也很拥挤，但几种机制应分开： | 机制 | 代表工作 | 对利用率的作用与代价 | | --- | --- | --- | | 两个遗忘速度 | DSLA | 将短期与历史内容分开；多存状态 | | 多时间分辨率更新 | MS-GLA | 粗分支减少写入频率、缓解干扰；池化损失细节，需因果延迟 | | 分布较广的衰减模式 | FRAC | 用快慢指数模式近似长尾保留；有限模式、有限有效时间范围 | | 扩窗后的遗忘谱适配 | SpectralShift | 改变训练中慢衰减方向的分布；保留与清理之间仍有取舍 | | 输入相关旋转与反射 | Selective RoPE、CKDA、SFDA、Mamba-3 | 让信息以相位和方向演化，扩展状态追踪；计算与表示精度仍有限 | | 相对时间槽与可学习时钟 | CyFA | 让不同历史年龄有更结构化的地址；固定槽循环使用，仍有覆盖和混合 | **CyFA 值得单列。** [CyFA v1](../../../paper-readings/CyFA-2609.36259/v1/r1/reading-notes.zh.md) 用对齐的 key/value 状态表示相对时间槽；可学习时钟控制旧信息如何移动，新写入进入年龄零处。精确坐标变换将移动状态改写为两遍标量递推，避免每 token 做稠密槽移动。在匹配主要循环状态预算下，400M 召回均分由 KDA 的 26.31 到 33.25（+6.94 个百分点），8K 训练吞吐约为 KDA 的 1.37 倍。预算匹配针对**主要循环状态**，辅助缓存、实际分配形状与静态参数仍应单列（Table 2、Figs.5–6，PDF pp.6–10；架构核算见附录）。 **旋转能力不等于增加记忆量。** [CKDA v1](../../../paper-readings/CKDA-2609.24797/v1/r1/reading-notes.zh.md) 在实数状态中用负通道门与扩展更新率组合旋转，[SFDA v1](../../../paper-readings/SFDA-2607.11897/v1/r1/reading-notes.zh.md) 显式引入相位，[Mamba-3 v1](../../../paper-readings/Mamba-3-2603.15569/v1/r1/reading-notes.zh.md) 同时改进写入和 MIMO。它们能扩展可实现的转移或提高每次访问的计算量，但不自动增加可无误存储的独立随机事实。涉及复数记号时，应按实际保存的实数通道和 dtype 计量，不能把一个复数元素与一个实数元素当作相同字节。CKDA 的语言模型均分与匹配 KDA 基本持平、SFDA 主要验证理论和小型计数，是定位这些工作的必要条件。 [SSM-Gating v1](../../../paper-readings/SSM-Gating-2609.16540/v1/r1/reading-notes.zh.md) 也说明“记得更久”不是单调更好：衰减过强会压低远处信号，过弱则积累干扰；训练还可能学到参数记忆捷径。慢时间尺度、长尾核和旋转，都需要在多事实负载下检验，而不仅是单针或 PPL 外推。 ### 4.5 选择性保护难压缩内容：HOLA 与 LoLA 线性状态适合提取规律，但一些事实、稀有值或高残差关联更需要直接保留。[HOLA v1](../../../paper-readings/HOLA-2607.02303/v1/r1/reading-notes.zh.md) 用写入幅度 $\beta_t\|r_t\|$ 选择 KV；[LoLA v3](../../../paper-readings/LoLA-2505.23666/v3/r1/reading-notes.zh.md) 用自召回误差决定哪些 KV 不应只交给低秩状态。它们把**记忆分配策略**作为研究对象。 ![图 4：两项论文内部的利用率证据](assets/532242674af5-04-utilization-evidence.png) 图 4 左图根据 Lattice **Table 3（PDF p.10）、Fig.6（p.23）**重绘：110M 类、FineWeb-Edu 中，Lattice 在 16 槽得到 PPL 15.52，TTT 在 64 槽为 15.60；这是该压缩层的槽位比较，不能读成全模型显存降低 75%。右图根据 LoLA **Table 1（PDF pp.7–8）**重绘：同一权重、相同名义 512 个显式 KV 槽位下，4K S-NIAH-1 从扩大窗口的 8.8% 到按 SRE 分配的 97.4%。两图实验互不相同，不可跨面板比较方法强弱。 LoLA 摘要常见的 0.6%→97.4% 还包含从 64 槽到 512 槽的扩容；**8.8%→97.4% 才更接近“同名义容量下改进分配”的证据**。这里仍需注意物理缓存布局、分母统计和预填充临时量，名义槽数相同不必然等于完全相同的实测峰值显存。 HOLA 的同预算 recency 对照也有帮助：340M、15B tokens、2K 训练长度下，WikiText-103 PPL 为 GDN 27.32、recency 25.04、HOLA 22.92；32K S-NIAH-1 分别为 0.14、0.24、0.58。前一段变化包含增加精确缓存，后一段支持选择/读出策略的额外价值（Table 1、Fig.1，PDF pp.1、7–9）。 ### 4.6 让训练学会使用状态，而不是绕开状态 **HedgeCATs 是本方向很重要的一篇负结果。** [HedgeCATs v2](../../../paper-readings/HedgeCATs-2510.05901/v2/r1/reading-notes.zh.md) 的 Mistral-7B 实验中，SWA+LA 六任务平均分 65.48，删去 LA 后反而为 65.56；LA-only 为 34.78。混合模型的高分不足以说明循环状态被用好了。分阶段迁移、推理时再混合和 SWA dropout 的价值，是让 LA 分支产生可观察的增益（Table 1，PDF p.5）。 [DAT v1](../../../paper-readings/DAT-2510.00258/v1/r1/reading-notes.zh.md) 在合成复合任务中先训练循环路径、后开放注意力，说明优化顺序影响模块分工。[LengthGen v2](../../../paper-readings/LengthGen-2507.02782/v2/r2/reading-notes.zh.md) 通过 State Passing 等初态干预扩大训练状态覆盖，针对的是长运行时遇到未训练状态的分布偏移。[JRT v1](../../../paper-readings/JRT-2407.05483/v1/r1/reading-notes.zh.md) 让模型知道问题后重读，改变固定容量内应该保留什么，支付额外输入与预填充计算。 利用率还涉及深度方向的信号复用。[CLVR v1](../../../paper-readings/CLVR-2607.07953/v1/r1/reading-notes.zh.md) 发现直接跨层传写入误差并不稳定受益，先投影到共享残差坐标、再传完整写入 value 的方案表现更好；匹配实验的验证损失改善通常很小，且均为单次运行。它提示不同层的状态坐标不能直接混加，也不能从小幅 LM 损失改善推断长程事实记忆已经提高。 这些方法提示：**固定推理状态形状并不等于固定使用能力。** 评估新写入规则时，应与可用的训练/蒸馏策略比较；评估新训练策略时，则应固定结构、数据量与计算预算。 ### 4.7 字节与带宽效率是第三个维度，可以支持前两条主线 [StateReduction v3](../../../paper-readings/StateReduction-2602.04852/v3/r1/reading-notes.zh.md) 裁剪 key/query 通道，是真正缩小内容矩阵；[DAMP v2](../../../paper-readings/DAMP-2608.27513/v2/r1/reading-notes.zh.md) 根据误差及其未来保留程度分配精度；[LeapQuant v1](../../../paper-readings/LeapQuant-2609.38166/v1/r1/reading-notes.zh.md) 用窗口量化、补偿与平滑减少递归量化误差；[DeltaLog v1](../../../paper-readings/DeltaLog-2608.15533/v1/r1/reading-notes.zh.md) 用基底+日志减少反复写回。 这些工作研究的是**如何更便宜地保存和访问状态**。同一模型压缩后召回不变，不代表逻辑容量增加；把节省的存储再投入更多槽位、辅助统计或缓存，才构成新的容量—利用率组合，而这需要额外实验验证。 其中有两个边界尤其值得保留： - StateReduction 的 GDN-1.3B 裁剪 50%、恢复后，WikiText-2 PPL 为 16.3（原模型 16.8），但 4K NIAH 为 61.9（原模型 81.3）。**可压缩的 PPL 冗余不等于可压缩的检索冗余。** - DeltaLog 保持逻辑递推、延迟物理合并；LeapQuant 还要计入高精度窗口日志和补偿因子。仅比较量化基底的 bytes/value，会低估完整状态预算。 ## 5. 把最关键的原文证据放在一起 下表用于比较论证类型。每行只作其所在论文、任务与训练协议内的对照，分数不能横向排序；更多具体单项见本地笔记与原文。 | 论文与比较条件 | 原文结果 | 对容量/利用率的含义 | | --- | --- | --- | | Triadic，400M，E=1→8，3 seeds；Tables 1–2，pp.6–7 | 状态 6.3→50.3 MB；召回 26.2→33.1；PG19 16K–64K PPL 14.15→13.74 | 大状态有效，参数只小幅增加；收益未与状态倍数成比例 | | Triadic，同为 50.3 MB；Table 2，p.7 | E=8 后期扩容召回 29.7，从头训练 33.1 | 相同容量的训练使用能力不同 | | SDM，8B 档位长上下文续训后；Table 2，p.8 | RULER 34.2→50.2，FullAttn 61.2 | 大稀疏记忆改善召回，仍有缺口；包含可学习初态且大记忆未计入匹配参数 | | SDM，1.4B 初态消融；Table 3，p.9 | GDN 20.0；SDM 零初态 28.0、可学习初态 31.2 | 区分在线容量与预训练参数记忆的贡献 | | Lattice，110M，FineWeb-Edu；Table 3，p.10 | Lattice 16 槽 PPL 15.52；TTT 64 槽 15.60 | 支持该设置下更高槽位效率，不是整个模型等字节或等速度证明 | | CyFA，400M，主要循环状态匹配；Table 2，pp.6–8 | 六任务召回 KDA 26.31→CyFA 33.25 | 时间地址组织在主状态预算匹配下有效 | | OSDN-APF，1.3B/100B；Tables 8、16，pp.35、40 | 残差比 0.432→0.265；重复召回 0.227→0.217 | 局部更新代理指标改善，没有转化为该召回指标改善 | | Bayesian Layer v3，WikiText-103；Table 2，p.9 | AR-hit PPL 23.72→18.15；整体 PPL 18.75→20.01 | 关联子集改善伴随总体取舍；还需付出稠密协方差 | | CCQ，1.3B GLA，同训练预算；Table 3，p.8，App.E | 4K S-NIAH-1 为 47.8→96.8；推理关闭修正仍保留多数收益 | 干预读取有收益，但要区分训练效应与即时修正 | | LoLA，同权重、名义 512 显式槽；Table 1，pp.7–8 | 4K S-NIAH-1：扩大窗口 8.8%，SRE 分配 97.4% | 强调选择性存储，而非仅靠扩大窗口 | | HOLA，同容量 recency 对照；Table 1、Fig.1，pp.1、7–9 | PPL 25.04→22.92；32K 单针 0.24→0.58 | 精确缓存内部的选择与读出也决定利用率 | | HedgeCATs，Mistral-7B 消融；Table 1，p.5 | SWA+LA 65.48，SWA-only 65.56 | 总体质量不证明状态分支有贡献 | | StateReduction，GDN-1.3B，裁剪 50% 并恢复；Tables 1、4，pp.8–9 | PPL 16.8→16.3；4K NIAH 81.3→61.9 | 容量冗余依任务而变，PPL 与召回应同时看 | 以上来源分别为 [Triadic v1](../../../paper-readings/Triadic-2609.36529/v1/r1/reading-notes.zh.md)、[SDM v1](../../../paper-readings/SDM-2607.07386/v1/r1/reading-notes.zh.md)、[Lattice v2](../../../paper-readings/Lattice-2504.05646/v2/r1/reading-notes.zh.md)、[CyFA v1](../../../paper-readings/CyFA-2609.36259/v1/r1/reading-notes.zh.md)、[OSDN v1](../../../paper-readings/OSDN-2605.13473/v1/r1/reading-notes.zh.md)、[BayesianLayer v3](../../../paper-readings/BayesianLayer-2605.31163/v3/r1/reading-notes.zh.md)、[CCQ v2](../../../paper-readings/CCQ-2606.01294/v2/r1/reading-notes.zh.md)、[LoLA v3](../../../paper-readings/LoLA-2505.23666/v3/r1/reading-notes.zh.md)、[HOLA v1](../../../paper-readings/HOLA-2607.02303/v1/r1/reading-notes.zh.md)、[HedgeCATs v2](../../../paper-readings/HedgeCATs-2510.05901/v2/r1/reading-notes.zh.md)、[StateReduction v3](../../../paper-readings/StateReduction-2602.04852/v3/r1/reading-notes.zh.md)；PDF 页码均从 1 开始，完整原始来源也在第 8 节逐篇列出。 ## 6. 对“研究已经拥挤”的具体判断 ### 6.1 已经很难仅凭一个局部动作建立贡献 **“再加一个 gate”“再存一个状态”“用二阶信息”“给状态加旋转”“困难 token 存精确缓存”都已有密集先例。** 区别仍然可能有价值，但需要落实到：哪种统计、哪个地址、哪种不变量、哪种计算组织，以及在哪个合理预算下收益成立。 例如，PDN 与 OSDN 都做写入预条件，但历史统计和在线更新目标不同；KDN 与 Bayesian Layer 都引入不确定性，却选择不同近似；CCQ 和 MesaNet 都利用 key 的二阶几何，但一个修正 query，一个求累计回归解。这些不是同一方法，也说明只写“引入 curvature/covariance”不足以界定新意。 相似地，MoM、SDM、Proteus、CyFA 都减少某些历史写入之间的冲突，但分别依赖独立记忆、稀疏访问、容量开放时机和相对时间组织。贡献需要解释具体冲突怎样减少，而不只是画出更多 memory blocks。 ### 6.2 两条主线正在合流 | 方法类型 | 扩大了什么 | 怎样提高已有资源的使用 | 必须另计的成本 | | --- | --- | --- | --- | | Triadic | 联合 key 地址维度 | 乘积地址、逐片遗忘、delta 修正 | 稠密大状态与读写量 | | SDM / MoM | 总槽表或记忆组数 | 稀疏访问、不同写入域 | 未激活状态、寻址、可学习初态 | | HOLA / LoLA | 精确保存通道或其分配范围 | 残差/SRE 选择难压缩关联 | KV、分数、缓存管理与临时量 | | PDN / OSDN / KDN | 辅助统计，主内容地址未直接扩大 | 更合适的写入方向和强度 | 对角统计、不确定性与额外运算 | | CCQ / MesaNet | 二阶辅助统计 | 更好读出或求解历史拟合 | 协方差/Gram、矩阵访问和求解 | | DeltaProduct / Mamba-3 | 可实现转移或每次访问的计算 | 同状态上更充分的状态计算 | 多次更新、MIMO 和训练 FLOPs | | DAMP / LeapQuant / DeltaLog | 不直接增加逻辑地址 | 减少表示误差、存储或写回成本 | 高精度例外、日志与内核复杂度 | 因此，**容量与利用率不是两组互不相干的论文标签，而是同一设计的两条预算轴。** 实际研究前沿是使内容记忆、辅助记忆、精确检索和计算协作，在质量、状态字节和延迟之间形成更好的取舍。现有证据没有给出一个全面胜出的固定状态方案。 ### 6.3 对新选题更有价值的是明确缺口 以下是本次分析提出的研究问题，不声称在全球文献中无人研究，也不把组合现有模块自动视作创新。 | 可检验问题 | 最接近的已有工作 | 应如何证明超出了近邻 | | --- | --- | --- | | **同总字节下，增加内容槽还是保留历史几何更有效？** | Triadic、SDM、PDN、KDN、CCQ、MesaNet | 将辅助矩阵预算换算成可用内容状态，比较容量—干扰—延迟曲线，寻找稳定的负载分界 | | **能否在同容量下保护未来仍会被查询的事实，而非仅拟合当前 key？** | Lattice、EDA、Q-Delta、HOLA、LoLA、How Linear Attention Remembers | 固定事实数、增加冲突和重写，直接测未来读出及非目标损伤；同时与等预算精确缓存比较 | | **扩容后为什么没有充分利用新坐标，训练怎样改变这个差距？** | Triadic upcycling、Proteus、LengthGen、HedgeCATs | 固定最终状态与训练 FLOPs，比较从头训练、后期扩容、状态覆盖和分支训练；用路径干预定位 | | **省下的状态字节投入哪里最值得？** | StateReduction、DAMP、LeapQuant、DeltaLog 加扩容/预条件方法 | 在同一服务峰值内存与目标延迟下分配容量、统计和精确 KV，包含日志、检查点和并发成本 | 这些问题的价值在于给出可失败、可复核的比较：如果优势被等资源的扩大状态、一次额外更新、随机/近期缓存或更合理训练消除，就应据此重新界定方法贡献。 ## 7. 一套能区分容量收益与利用率收益的实验方案 ### 7.1 最小实验矩阵 固定骨干、训练数据、token 预算、优化器搜索范围与评测协议，至少设置下列四组，并对多个状态预算重复。这里“利用率改进”应替换为待研究的具体机制。 | | 原更新/读取规则 | 加入利用率改进 | | --- | --- | --- | | 小内容状态 | 基线 | 检验小状态内的改进 | | 大内容状态 | 检验单独扩容 | 检验扩容与改进是否互补 | 同时给出两套配对：**等主要内容状态**用于分析机制，**等总运行时字节**用于判断资源效率。若方法增加计算，还要给等训练 FLOPs 或等端到端延迟的对照，不能只控制总参数量。MoM/SDM 另报总与激活资源，可学习初态单列。 ### 7.2 将记忆压力拆成四种自变量 1. **距离压力**：固定独立事实数量，只增加中性 filler，测衰减与长运行状态偏移。 2. **负载压力**：固定距离，增加同时需要保留的独立随机关联，测有效容量。 3. **碰撞与更新压力**：控制 key 相似度、重复写入、事实改写、相互冲突和删除，测干扰、替换与非目标损伤。 4. **查询压力**：单针、多 key、多 query、多 value 与多步组合分开测，检验状态是否只能保留一个显著目标。 随机 values 应在测试时重新生成，避免慢权重记住固定答案。真实文本则补充长文问答、抽取与位置分段 PPL，不能用随机召回替代全部语言质量，也不能用总体 PPL 替代记忆能力。 ### 7.3 关键消融与报告项 | 要排除的解释 | 必要对照 | | --- | --- | | 只是多了存储 | 等总字节扩大内容状态；等预算近期/随机精确缓存；辅助状态也计入 | | 只是多算了几次 | 基线增加一次或多次 delta 更新；匹配 MIMO/CG 类读取计算 | | 只是训练更充分 | 等 token/FLOPs，控制蒸馏、续训、初态、数据与优化器调参 | | 混合模型绕开了循环状态 | 去掉 LA、去掉显式 KV、状态替换/输出恢复、读取路径干预 | | 只改善了局部代理指标 | 当前残差、历史关联损伤、最终 query 准确率共同报告 | | 节省只发生在局部内核 | 报整模型 prefill/decode、batch、输入/输出长度、硬件和并发；核内加速单列 | 最终应报告质量—字节—时间的 Pareto 曲线，以及给定准确率门槛下可支持的事实负载。状态谱和读写重叠作为解释性诊断；至少对核心比较重复种子并提供不确定性，不用某篇单次大提升代替整体证据。 **本报告的选题判断：若只准备提出一种略有变化的 state 更新、附加门控或 memory 分支，当前近邻已经相当密集；若能在完整资源约束下解释并改善“写入冲突—保留—读出—训练分工”的具体失效，仍有清晰研究价值。** 图表原始数据与来源定位见 [plot_data.json](assets/3117cfd5f7b9-plot_data.json)，机制分类见 [mechanism_map.json](assets/1d39d5cd2658-mechanism_map.json)，绘图代码见 [plot_survey.py](assets/d2bd1f702827-plot_survey.py)。PNG 用于 Markdown，配套 SVG 可用于汇报与编辑。 ## 8. 本地相关论文完整目录（68 篇） A 为直接研究线性注意力算子、状态机制、训练或系统的论文；B 为机制紧邻的 SSM、快权重、压缩检索或综述。分类按主要贡献互斥计数，机制标签可以重叠。每篇采用本地已有的最高版本、最高笔记修订；这不表示该版本是在线最新版本。名称后的链接打开本地中文笔记，题名链接打开原始来源。 ### 8.1 扩容与多记忆（6 篇） | 论文、版本与原始题名 | 机制、资源变化和应如何解读 | | --- | --- | | **[Triadic](../../../paper-readings/Triadic-2609.36529/v1/r1/reading-notes.zh.md)** · A · v1/r1
[Triadic Linear Attention: Three-Dimensional Recurrent States for Long-Context Sequence Modeling](https://arxiv.org/abs/2609.36529v1) · [PDF](../../../paper-readings/Triadic-2609.36529/v1/source/paper.pdf) | 双 key 的张量积扩展联合地址，状态增至 E 倍；少量新增投影不消除稠密状态的存储和读写成本。 | | **[SDM](../../../paper-readings/SDM-2607.07386/v1/r1/reading-notes.zh.md)** · A · v1/r1
[Sparse Delta Memory: Scaling the State of Linear RNNs through Sparsity](https://arxiv.org/abs/2607.07386v1) · [PDF](../../../paper-readings/SDM-2607.07386/v1/source/paper.pdf) | 大槽表配合稀疏 top-k 读写；容量和激活算术部分解耦，但可学习初态、总存储及路由成本须单列。 | | **[MoM](../../../paper-readings/MoM-2502.13685/v4/r1/reading-notes.zh.md)** · A · v4/r1
[MoM: Linear Sequence Modeling with Mixture-of-Memories](https://arxiv.org/abs/2502.13685v4) · [PDF](../../../paper-readings/MoM-2502.13685/v4/source/paper.pdf) | 多个独立循环记忆、top-k 路由及共享记忆；同时扩容与隔离写入，等激活预算不代表等总状态。 | | **[FwPKM](../../../paper-readings/FwPKM-2601.00671/v2/r1/reading-notes.zh.md)** · B · v2/r1
[Fast-weight Product Key Memory](https://arxiv.org/abs/2601.00671v2) · [PDF](../../../paper-readings/FwPKM-2601.00671/v2/source/paper.pdf) | 乘积键稀疏寻址配合在线快键/快值更新；大容量、重读和真实吞吐成本共同影响结果。 | | **[MDN](../../../paper-readings/MDN-2605.05838/v1/r1/reading-notes.zh.md)** · A · v1/r1
[MDN: Parallelizing Stepwise Momentum for Delta Linear Attention](https://arxiv.org/abs/2605.05838v1) · [PDF](../../../paper-readings/MDN-2605.05838/v1/source/paper.pdf) | 用额外动量矩阵积累历史残差，提供逐步动量的分块算法；同尺寸下主状态加动量约为双状态。 | | **[DSLA](../../../paper-readings/DSLA-2506.09316/v3/r1/reading-notes.zh.md)** · A · v3/r1
[On-the-Fly Adaptive Distillation of Transformer to Dual-State Linear Attention](https://arxiv.org/abs/2506.09316v3) · [PDF](../../../paper-readings/DSLA-2506.09316/v3/source/paper.pdf) | 历史/近期双状态采用不同遗忘门；容量、时间尺度和逐层转换策略同时改变。 | ### 8.2 写入、读取与容量调度（11 篇） | 论文、版本与原始题名 | 机制、资源变化和应如何解读 | | --- | --- | | **[Lattice](../../../paper-readings/Lattice-2504.05646/v2/r1/reading-notes.zh.md)** · A · v2/r1
[Lattice: Learning to Efficiently Compress the Memory](https://arxiv.org/abs/2504.05646v2) · [PDF](../../../paper-readings/Lattice-2504.05646/v2/source/paper.pdf) | 逐槽正交投影与归一化改进更新几何；局部正交性不等于所有历史关联相互正交。 | | **[PDN](../../../paper-readings/PDN-2604.21100/v1/r1/reading-notes.zh.md)** · A · v1/r1
[Preconditioned DeltaNet: Curvature-aware Sequence Modeling for Linear Recurrences](https://arxiv.org/abs/2604.21100v1) · [PDF](../../../paper-readings/PDN-2604.21100/v1/source/paper.pdf) | 历史 key 的对角统计调整写 key；精确逆 Gram 的回归等价不能直接套到实用对角近似。 | | **[OSDN](../../../paper-readings/OSDN-2605.13473/v1/r1/reading-notes.zh.md)** · A · v1/r1
[OSDN: Improving Delta Rule with Provable Online Preconditioning in Linear Attention](https://arxiv.org/abs/2605.13473v1) · [PDF](../../../paper-readings/OSDN-2605.13473/v1/source/paper.pdf) | 每头增加一个对角预条件向量，区分残差读取键与写回键；局部残差改善未必带来召回提升。 | | **[KDN](../../../paper-readings/KDN-2609.07816/v1/r1/reading-notes.zh.md)** · A · v1/r1
[Kalman Delta Networks: Uncertainty-aware Associative Memory](https://arxiv.org/abs/2609.07816v1) · [PDF](../../../paper-readings/KDN-2609.07816/v1/source/paper.pdf) | 显式传播不确定性，以 Kalman gain 决定残差写入；对角/各向同性近似控制辅助状态成本。 | | **[BayesianLayer](../../../paper-readings/BayesianLayer-2605.31163/v3/r1/reading-notes.zh.md)** · A · v3/r1
[Memory by Design: Probabilistic Sequence Layers](https://arxiv.org/abs/2605.31163v3) · [PDF](../../../paper-readings/BayesianLayer-2605.31163/v3/source/paper.pdf) | 稠密协方差引导抗碰撞写入；增加二次辅助状态，召回改善伴随整体困惑度取舍。 | | **[CCQ](../../../paper-readings/CCQ-2606.01294/v2/r1/reading-notes.zh.md)** · A · v2/r1
[Don't Read Everything: A Curvature-Conditioned Query for Linear Attention](https://arxiv.org/abs/2606.01294v2) · [PDF](../../../paper-readings/CCQ-2606.01294/v2/source/paper.pdf) | 以历史协方差收缩 query；新增矩阵和均值，且关闭推理修正仍保留多数收益，需区分训练作用。 | | **[EDA](../../../paper-readings/EDA-2606.26560/v1/r1/reading-notes.zh.md)** · A · v1/r1
[Erase-then-Delta Attention: Decoupling Erase and Write Addresses in Delta-Rule Linear Attention](https://arxiv.org/abs/2606.26560v1) · [PDF](../../../paper-readings/EDA-2606.26560/v1/source/paper.pdf) | 独立擦除地址与写入地址按顺序作用；增加一步清理，不增加同形状内容状态。 | | **[Q-Delta](../../../paper-readings/Q-Delta-2606.08804/v1/r1/reading-notes.zh.md)** · A · v1/r1
[Q-Delta: Beyond Key-Value Associative State Evolution](https://arxiv.org/abs/2606.08804v1) · [PDF](../../../paper-readings/Q-Delta-2606.08804/v1/source/paper.pdf) | 将 query 的旧状态读出反馈到写入残差；内容状态形状保持，更新表达力和计算增加。 | | **[MesaNet](../../../paper-readings/MesaNet-2506.05233/v2/r1/reading-notes.zh.md)** · A · v2/r1
[MesaNet: Sequence Modeling by Locally Optimal Test-Time Training](https://arxiv.org/abs/2506.05233v2) · [PDF](../../../paper-readings/MesaNet-2506.05233/v2/source/paper.pdf) | 累计交叉统计与 Gram 统计，读取时用 CG 求回归解；更好局部拟合需要辅助矩阵与求解计算。 | | **[Proteus](../../../paper-readings/Proteus-2608.16844/v1/r1/reading-notes.zh.md)** · A · v1/r1
[Proteus: Incremental Memory Activation for Long-Context Sequence Modeling](https://arxiv.org/abs/2608.16844v1) · [PDF](../../../paper-readings/Proteus-2608.16844/v1/source/paper.pdf) | 在固定最大记忆内逐步开放读写块；改变容量使用时机，超过训练窗口后容量不会继续增长。 | | **[CyFA](../../../paper-readings/CyFA-2609.36259/v1/r1/reading-notes.zh.md)** · A · v1/r1
[CyFA: Linear Sequence Modeling with Relative-Time-Partitioned Memory](https://arxiv.org/abs/2609.36259v1) · [PDF](../../../paper-readings/CyFA-2609.36259/v1/source/paper.pdf) | 用可学习时钟组织相对时间槽，双状态经精确坐标变换实现；主状态匹配下改善召回。 | ### 8.3 时间尺度与状态变换（11 篇） | 论文、版本与原始题名 | 机制、资源变化和应如何解读 | | --- | --- | | **[MS-GLA](../../../paper-readings/MS-GLA-2609.35664/v1/r1/reading-notes.zh.md)** · A · v1/r1
[MS-GLA: Multi-Scale Gated Linear Attention for Addressing Representational Bottlenecks via Multi-Temporal Resolution](https://arxiv.org/abs/2609.35664v1) · [PDF](../../../paper-readings/MS-GLA-2609.35664/v1/source/paper.pdf) | 固定总头数分配给不同池化尺度，延迟后因果融合；用时间分辨率换取低频写入和保护。 | | **[FRAC](../../../paper-readings/FRAC-2609.36314/v1/r1/reading-notes.zh.md)** · B · v1/r1
[Fractional State Space Transition for Long Sequence Modeling](https://arxiv.org/abs/2609.36314v1) · [PDF](../../../paper-readings/FRAC-2609.36314/v1/source/paper.pdf) | 几何分布的指数时间尺度近似长尾记忆；属于 SSM 近邻，长尾核不等于任意事实无损保留。 | | **[DeltaProduct](../../../paper-readings/DeltaProduct-2502.10297/v7/r1/reading-notes.zh.md)** · A · v7/r1
[DeltaProduct: Improving State-Tracking in Linear RNNs via Householder Products](https://arxiv.org/abs/2502.10297v7) · [PDF](../../../paper-readings/DeltaProduct-2502.10297/v7/source/paper.pdf) | 每 token 多次 Householder 型更新；状态维度可不变，表达力来自额外顺序更新与投影。 | | **[CKDA](../../../paper-readings/CKDA-2609.24797/v1/r1/reading-notes.zh.md)** · A · v1/r1
[Complex KDA: Understanding and Enhancing the Expressivity of Kimi Delta Attention](https://arxiv.org/abs/2609.24797v1) · [PDF](../../../paper-readings/CKDA-2609.24797/v1/source/paper.pdf) | 有符号通道门和扩展更新率以反射组合旋转；实数状态下增强追踪，LM 与匹配 KDA 基本持平。 | | **[SFDA](../../../paper-readings/SFDA-2607.11897/v1/r1/reading-notes.zh.md)** · A · v1/r1
[Semidirect Fourier Delta Attention: Phase-Controlled Delta Memory with Constructive Chunk-WY Kernels](https://arxiv.org/abs/2607.11897v1) · [PDF](../../../paper-readings/SFDA-2607.11897/v1/source/paper.pdf) | 相位旋转扩展 delta 记忆并构造精确块 WY；证据主要为理论和小型计数实验，非大规模 LM 验证。 | | **[SelectiveRoPE](../../../paper-readings/SelectiveRoPE-2511.17388/v3/r1/reading-notes.zh.md)** · A · v3/r1
[Selective Rotary Position Embedding](https://arxiv.org/abs/2511.17388v3) · [PDF](../../../paper-readings/SelectiveRoPE-2511.17388/v3/source/paper.pdf) | 输入相关累计旋转改变读写匹配；不靠增加槽数，语言模型收益随架构与规模变化。 | | **[Mamba-3](../../../paper-readings/Mamba-3-2603.15569/v1/r1/reading-notes.zh.md)** · B · v1/r1
[Mamba-3: Improved Sequence Modeling using State Space Principles](https://arxiv.org/abs/2603.15569v1) · [PDF](../../../paper-readings/Mamba-3-2603.15569/v1/source/paper.pdf) | 指数梯形写入、旋转与 MIMO 组合；MIMO 可在同状态上增加读写计算，训练 FLOPs 随之增加。 | | **[Mamba3-Oscillation](../../../paper-readings/Mamba3-Oscillation-2610.13341/v1/r1/reading-notes.zh.md)** · B · v1/r1
[Understanding Mamba-3 Through Oscillatory Dynamics](https://arxiv.org/abs/2610.13341v1) · [PDF](../../../paper-readings/Mamba3-Oscillation-2610.13341/v1/source/paper.pdf) | 以振荡动力学和相位干预解释旋转如何影响累积与读出；机制分析，不是另一套扩容模型。 | | **[M2RNN](../../../paper-readings/M2RNN-2603.14360/v2/r1/reading-notes.zh.md)** · B · v2/r1
[M$^2$RNN: Non-Linear RNNs with Matrix-Valued States for Scalable Language Modeling](https://arxiv.org/abs/2603.14360v2) · [PDF](../../../paper-readings/M2RNN-2603.14360/v2/source/paper.pdf) | 矩阵状态加入逐步非线性递推；改善少量替换层的混合模型，牺牲标准线性扫描结构。 | | **[SpectralShift](../../../paper-readings/SpectralShift-2609.14320/v1/r1/reading-notes.zh.md)** · A · v1/r1
[SpectralShift: Effective Context Window Extension of Gated DeltaNet via Spectral Reparameterization](https://arxiv.org/abs/2609.14320v1) · [PDF](../../../paper-readings/SpectralShift-2609.14320/v1/source/paper.pdf) | 扩窗时重参数化遗忘门并降低相应学习率，改善慢衰减方向；无新增内容状态。 | | **[PaTH](../../../paper-readings/PaTH-2505.16381/v2/r1/reading-notes.zh.md)** · B · v2/r1
[PaTH Attention: Position Encoding via Accumulating Householder Transformations](https://arxiv.org/abs/2505.16381v2) · [PDF](../../../paper-readings/PaTH-2505.16381/v2/source/paper.pdf) | 把 Householder 路径转移用于 softmax 的位置匹配；保留显式历史和二次项，是状态追踪参照。 | ### 8.4 核与压缩表示（4 篇） | 论文、版本与原始题名 | 机制、资源变化和应如何解读 | | --- | --- | | **[BASED](../../../paper-readings/BASED-2402.18668/v2/r1/reading-notes.zh.md)** · A · v2/r1
[Simple linear attention language models balance the recall-throughput tradeoff](https://arxiv.org/abs/2402.18668v2) · [PDF](../../../paper-readings/BASED-2402.18668/v2/source/paper.pdf) | 二阶 Taylor 全局状态、小窗口精确注意力及卷积组合；将容量、局部精度和 IO 内核一起设计。 | | **[LAVO](../../../paper-readings/LAVO-2312.11135/v1/r1/reading-notes.zh.md)** · A · v1/r1
[Linear Attention via Orthogonal Memory](https://arxiv.org/abs/2312.11135v1) · [PDF](../../../paper-readings/LAVO-2312.11135/v1/source/paper.pdf) | 固定正交方向的均值统计与局部注意力组合；对压缩槽做 softmax，平均压缩会损失历史细节。 | | **[RACE](../../../paper-readings/RACE-2510.04008/v5/r1/reading-notes.zh.md)** · A · v5/r1
[RACE Attention: A Strictly Linear-Time Attention Layer for Training on Outrageously Large Contexts](https://arxiv.org/abs/2510.04008v5) · [PDF](../../../paper-readings/RACE-2510.04008/v5/source/paper.pdf) | 可微软哈希桶保存质量与值统计；固定桶数下线性，容量、碰撞和哈希构造仍有成本。 | | **[SANATAN](../../../paper-readings/SANATAN-github/v2/r1/reading-notes.zh.md)** · A · v2/r1
[SANATAN: Root-Parity Gated Angular Attention with an Exact Constant-State Recurrent Form](https://github.com/bhargavpatel431997/sanatan-attention) · [PDF](../../../paper-readings/SANATAN-github/v2/source/paper.pdf) | 角度核及根标签门控具有显式 6d 特征；常状态精确递推针对 p=1，强基线和公开制品尚有差距。 | ### 8.5 压缩记忆与显式检索组合（8 篇） | 论文、版本与原始题名 | 机制、资源变化和应如何解读 | | --- | --- | | **[LoLA](../../../paper-readings/LoLA-2505.23666/v3/r1/reading-notes.zh.md)** · A · v3/r1
[LoLA: Low-Rank Linear Attention With Sparse Caching](https://arxiv.org/abs/2505.23666v3) · [PDF](../../../paper-readings/LoLA-2505.23666/v3/source/paper.pdf) | 按自召回误差将难压缩 KV 放入有限全局缓存；等名义缓存预算对照支持分配策略的价值。 | | **[HOLA](../../../paper-readings/HOLA-2607.02303/v1/r1/reading-notes.zh.md)** · A · v1/r1
[A Hippocampus for Linear Attention: An Exact Memory for What the Recurrent State Forgets](https://arxiv.org/abs/2607.02303v1) · [PDF](../../../paper-readings/HOLA-2607.02303/v1/source/paper.pdf) | 按残差写入幅度选择固定容量精确 KV，并独立归一化读出；兼有新增容量和选择性保护。 | | **[NAtS-L](../../../paper-readings/NAtS-L-2602.03681/v2/r1/reading-notes.zh.md)** · A · v2/r1
[Neural Attention Search Linear: Towards Adaptive Token-Level Hybrid Attention Models](https://arxiv.org/abs/2602.03681v2) · [PDF](../../../paper-readings/NAtS-L-2602.03681/v2/source/paper.pdf) | 按 64-token 块选择显式 KV 或 GDN，并进行 query 条件融合；无硬 KV 预算时仍含二次项。 | | **[KVM](../../../paper-readings/KVM-2605.09877/v5/r1/reading-notes.zh.md)** · B · v5/r1
[Key-Value Means: Transformers with Expandable Block-Recurrent Compressed Memory](https://arxiv.org/abs/2605.09877v5) · [PDF](../../../paper-readings/KVM-2605.09877/v5/source/paper.pdf) | 滑窗外 KV 按相似度追加/合并压缩槽；固定槽版与随长度增长版具有不同复杂度。 | | **[MiTA](../../../paper-readings/MiTA-2602.01219/v5/r1/reading-notes.zh.md)** · B · v5/r1
[Mixture-of-Top-k Attention: Efficient Attention via Scalable Fast Weights](https://arxiv.org/abs/2602.01219v5) · [PDF](../../../paper-readings/MiTA-2602.01219/v5/source/paper.pdf) | landmark 复用 top-k KV 子集并加入全局压缩记忆；主要验证于视觉与 LRA，非固定状态 LM 直接对照。 | | **[Samba](../../../paper-readings/Samba-2406.07522/v3/r1/reading-notes.zh.md)** · B · v3/r1
[Samba: Simple Hybrid State Space Models for Efficient Unlimited Context Language Modeling](https://arxiv.org/abs/2406.07522v3) · [PDF](../../../paper-readings/Samba-2406.07522/v3/source/paper.pdf) | Mamba 与滑窗注意力交替；窗口承担精确局部检索，长文 PPL 外推与精确召回分开评估。 | | **[YOCO](../../../paper-readings/YOCO-2405.05254/v2/r1/reading-notes.zh.md)** · B · v2/r1
[You Only Cache Once: Decoder-Decoder Architectures for Language Models](https://arxiv.org/abs/2405.05254v2) · [PDF](../../../paper-readings/YOCO-2405.05254/v2/source/paper.pdf) | 高效 self-decoder 生成一份跨层共享的全局 KV；包含循环模块，但全模型状态仍随历史增长。 | | **[Nectar](../../../paper-readings/Nectar-2605.09778/v2/r1/reading-notes.zh.md)** · B · v2/r1
[Nectar: Neural Estimation of Cached-Token Attention via Regression](https://arxiv.org/abs/2605.09778v2) · [PDF](../../../paper-readings/Nectar-2605.09778/v2/source/paper.pdf) | 离线用小网络拟合固定文档的注意力输出与归一化量；依赖查询分布，非在线流式更新规则。 | ### 8.6 训练、转换与长度泛化（8 篇） | 论文、版本与原始题名 | 机制、资源变化和应如何解读 | | --- | --- | | **[JRT](../../../paper-readings/JRT-2407.05483/v1/r1/reading-notes.zh.md)** · A · v1/r1
[Just read twice: closing the recall gap for recurrent language models](https://arxiv.org/abs/2407.05483v1) · [PDF](../../../paper-readings/JRT-2407.05483/v1/source/paper.pdf) | 问题已知后重读，或训练非因果前缀编码器；从任务条件改变应保存的信息，付出额外输入/计算。 | | **[LoLCATs](../../../paper-readings/LoLCATs-2410.10254/v3/r1/reading-notes.zh.md)** · A · v3/r1
[LoLCATs: On Low-Rank Linearizing of Large Language Models](https://arxiv.org/abs/2410.10254v3) · [PDF](../../../paper-readings/LoLCATs-2410.10254/v3/source/paper.pdf) | 先迁移注意力输出、再用 LoRA 适配混合模型；转换成本降低，总体分数需配合分支消融解读。 | | **[HedgeCATs](../../../paper-readings/HedgeCATs-2510.05901/v2/r1/reading-notes.zh.md)** · A · v2/r1
[Untangling Component Imbalance in Hybrid Linear Attention Conversion Methods](https://arxiv.org/abs/2510.05901v2) · [PDF](../../../paper-readings/HedgeCATs-2510.05901/v2/source/paper.pdf) | 揭示滑窗分支掩盖线性分支失效；分阶段迁移及窗口 dropout 促使状态实际参与任务。 | | **[HypeNet](../../../paper-readings/HypeNet-2601.22156/v1/r1/reading-notes.zh.md)** · A · v1/r1
[Hybrid Linear Attention Done Right: Efficient Distillation and Effective Architectures for Extremely Long Contexts](https://arxiv.org/abs/2601.22156v1) · [PDF](../../../paper-readings/HypeNet-2601.22156/v1/source/paper.pdf) | 少量全局层、循环层和位置编码分工，配合 HALO 蒸馏；是组合设计而非单一状态更新收益。 | | **[HybridPosition](../../../paper-readings/HybridPosition-2610.10114/v1/r1/reading-notes.zh.md)** · A · v1/r1
[Mechanics of Long-Context Hybrid Models Part 1.1: From Hybrid Attention to Hybrid Position](https://arxiv.org/abs/2610.10114v1) · [PDF](../../../paper-readings/HybridPosition-2610.10114/v1/source/paper.pdf) | 以混合位置偏置解释长上下文模型，SWLA 与 NoPE 缩放改善外推；收益依任务与训练阶段。 | | **[OAL](../../../paper-readings/OAL-2610.13674/v1/r1/reading-notes.zh.md)** · A · v1/r1
[Not All Dimensions Are Equal: Outlier-Aware Attention Linearization with Grouped Quadratic Kernels](https://arxiv.org/abs/2610.13674v1) · [PDF](../../../paper-readings/OAL-2610.13674/v1/source/paper.pdf) | 按点积贡献分组学习二次核；压缩可学习系数，当前实现仍保存原始维度对的二阶状态。 | | **[LengthGen](../../../paper-readings/LengthGen-2507.02782/v2/r2/reading-notes.zh.md)** · A · v2/r2
[Understanding and Improving Length Generalization in Recurrent Models](https://arxiv.org/abs/2507.02782v2) · [PDF](../../../paper-readings/LengthGen-2507.02782/v2/source/paper.pdf) | 状态传递等初态干预扩大训练状态覆盖；无需扩容即可改善外推，稳定 PPL 仍不足以证明远距召回。 | | **[DAT](../../../paper-readings/DAT-2510.00258/v1/r1/reading-notes.zh.md)** · B · v1/r1
[Delayed Attention Training Improves Length Generalization in Transformer--RNN Hybrids](https://arxiv.org/abs/2510.00258v1) · [PDF](../../../paper-readings/DAT-2510.00258/v1/source/paper.pdf) | 先训练循环路径再开放注意力，改善合成复合任务的分工与长度泛化；非大规模 LM 通用验证。 | ### 8.7 状态压缩与服务系统（6 篇） | 论文、版本与原始题名 | 机制、资源变化和应如何解读 | | --- | --- | | **[StateReduction](../../../paper-readings/StateReduction-2602.04852/v3/r1/reading-notes.zh.md)** · A · v3/r1
[On State Reduction in Linear Attention](https://arxiv.org/abs/2602.04852v3) · [PDF](../../../paper-readings/StateReduction-2602.04852/v3/source/paper.pdf) | 联合裁剪 key/query 通道以缩小真实状态；恢复后 PPL 接近原模型，纯递归长距召回仍可能下降。 | | **[DAMP](../../../paper-readings/DAMP-2608.27513/v2/r1/reading-notes.zh.md)** · A · v2/r1
[DAMP: Decay-Aware Mixed-Precision Recurrent-State Quantization](https://arxiv.org/abs/2608.27513v2) · [PDF](../../../paper-readings/DAMP-2608.27513/v2/source/paper.pdf) | 按量化误差及其未来保留程度分配通道精度；改善字节与带宽效率，不直接扩大逻辑地址空间。 | | **[LeapQuant](../../../paper-readings/LeapQuant-2609.38166/v1/r1/reading-notes.zh.md)** · A · v1/r1
[LeapQuant: Efficient Linear Attention with Accurate Recurrent State Quantization](https://arxiv.org/abs/2609.38166v1) · [PDF](../../../paper-readings/LeapQuant-2609.38166/v1/source/paper.pdf) | 窗口量化、低秩补偿和残差平滑抑制递归误差；完整预算还应计入高精度日志与补偿因子。 | | **[DeltaLog](../../../paper-readings/DeltaLog-2608.15533/v1/r1/reading-notes.zh.md)** · A · v1/r1
[DeltaLog: Deferred Materialization of Recurrent States for Linear Attention Decoding](https://arxiv.org/abs/2608.15533v1) · [PDF](../../../paper-readings/DeltaLog-2608.15533/v1/source/paper.pdf) | 稠密基底加有界更新日志，延迟物理写回；逻辑状态仍逐 token 更新，主要降低写带宽。 | | **[HYPIC](../../../paper-readings/HYPIC-2607.01299/v2/r1/reading-notes.zh.md)** · A · v2/r1
[HYPIC: Accelerating Hybrid-Attention LLM Serving with Position-Independent Caching](https://arxiv.org/abs/2607.01299v2) · [PDF](../../../paper-readings/HYPIC-2607.01299/v2/source/paper.pdf) | 缓存段级仿射状态变换以组合历史；固定单层轨迹的精确组合与深层复用近似需区分。 | | **[Tail-Replay](../../../paper-readings/Tail-Replay-2608.30310/v2/r1/reading-notes.zh.md)** · A · v2/r1
[Tail-Replay: Escaping the Curse of Linear Attention in Prefix Caching for Hybrid LLMs](https://arxiv.org/abs/2608.30310v2) · [PDF](../../../paper-readings/Tail-Replay-2608.30310/v2/source/paper.pdf) | 缓存精确 FA 输出并短尾重放恢复 LA 状态；改善前缀复用，增加辅助缓存且恢复存在误差。 | ### 8.8 机制、理论与综述（7 篇） | 论文、版本与原始题名 | 机制、资源变化和应如何解读 | | --- | --- | | **[LinearAttn-Memory](../../../paper-readings/LinearAttn-Memory-2609.33093/v1/r1/reading-notes.zh.md)** · A · v1/r1
[How Linear Attention Remembers](https://arxiv.org/abs/2609.33093v1) · [PDF](../../../paper-readings/LinearAttn-Memory-2609.33093/v1/source/paper.pdf) | 因果干预区分写入、保留、读出；负载与写入重叠损害召回，混合模型直接记忆载体可转向 KV。 | | **[CLVR](../../../paper-readings/CLVR-2607.07953/v1/r1/reading-notes.zh.md)** · A · v1/r1
[Linear Attention Architectures: Mechanisms, Trade-offs, and Cross-Layer Routing](https://arxiv.org/abs/2607.07953v1) · [PDF](../../../paper-readings/CLVR-2607.07953/v1/source/paper.pdf) | 统一遗忘/擦除/写入比较，研究跨层 value 路由；单次小幅损失改善尚非独立的容量扩展证据。 | | **[LLM-Memory](../../../paper-readings/LLM-Memory-2607.25380/v1/r1/reading-notes.zh.md)** · B · v1/r1
[Memory for Large Language Models](https://arxiv.org/abs/2607.25380v1) · [PDF](../../../paper-readings/LLM-Memory-2607.25380/v1/source/paper.pdf) | 以表示、更新和持续性统一模型级记忆；是综述框架，用来界定状态与外部记忆的边界。 | | **[Attention-Evolution](../../../paper-readings/Attention-Evolution-2609.39661/v1/r1/reading-notes.zh.md)** · B · v1/r1
[The Evolution of Attention in Large Language Models: Mechanisms, Trade-offs, and Emerging Trends](https://arxiv.org/abs/2609.39661v1) · [PDF](../../../paper-readings/Attention-Evolution-2609.39661/v1/source/paper.pdf) | 从表示到整合梳理注意力和混合架构；说明研究设计轴众多，不计作一种独立更新算法。 | | **[SSM-Gating](../../../paper-readings/SSM-Gating-2609.16540/v1/r1/reading-notes.zh.md)** · B · v1/r1
[On the Importance of Gating: Memorization vs. In-Context Learning in State Space Models](https://arxiv.org/abs/2609.16540v1) · [PDF](../../../paper-readings/SSM-Gating-2609.16540/v1/source/paper.pdf) | 区分门控导致的优化捷径与长历史干扰；遗忘既可能削弱信号，也可能抑制噪声。 | | **[Hybrid-Hierarchy](../../../paper-readings/Hybrid-Hierarchy-2602.01763/v1/r1/reading-notes.zh.md)** · A · v1/r1
[A Provable Expressiveness Hierarchy in Hybrid Linear-Full Attention](https://arxiv.org/abs/2602.01763v1) · [PDF](../../../paper-readings/Hybrid-Hierarchy-2602.01763/v1/source/paper.pdf) | 有限精度通信下区分状态容量和全注意力访问轮数；专门任务下界不等于一般 LM 的运行成本结论。 | | **[Transformer-Topology](../../../paper-readings/Transformer-Topology-2604.17121/v5/r1/reading-notes.zh.md)** · B · v5/r1
[The Topological Trouble With Transformers](https://arxiv.org/abs/2604.17121v5) · [PDF](../../../paper-readings/Transformer-Topology-2604.17121/v5/source/paper.pdf) | 分析计算图中状态跨位置/跨层的可达性；为增加状态计算和循环深度提供结构参照。 | ### 8.9 快权重与神经记忆近邻（7 篇） | 论文、版本与原始题名 | 机制、资源变化和应如何解读 | | --- | --- | | **[TTT](../../../paper-readings/TTT-2407.04620/v4/r1/reading-notes.zh.md)** · B · v4/r1
[Learning to (Learn at Test Time): RNNs with Expressive Hidden States](https://arxiv.org/abs/2407.04620v4) · [PDF](../../../paper-readings/TTT-2407.04620/v4/source/paper.pdf) | 将小模型权重作为隐状态，由自监督内层目标更新；线性/MLP 状态的表达力、计算与存储不同。 | | **[LaCT](../../../paper-readings/LaCT-2505.23884/v1/r1/reading-notes.zh.md)** · B · v1/r1
[Test-Time Training Done Right](https://arxiv.org/abs/2505.23884v1) · [PDF](../../../paper-readings/LaCT-2505.23884/v1/source/paper.pdf) | 以大块在线更新提高计算强度，支撑更大非线性快权重；块大小与局部窗口共同影响记忆。 | | **[SRWM](../../../paper-readings/SRWM-2202.05780/v2/r1/reading-notes.zh.md)** · B · v2/r1
[A Modern Self-Referential Weight Matrix That Learns to Modify Itself](https://arxiv.org/abs/2202.05780v2) · [PDF](../../../paper-readings/SRWM-2202.05780/v2/source/paper.pdf) | 同一矩阵产生并执行自身 delta 更新；扩展的是更新控制器的适应能力，而非单纯槽位数。 | | **[NL](../../../paper-readings/NL-2512.24695/v1/r1/reading-notes.zh.md)** · B · v1/r1
[Nested Learning: The Illusion of Deep Learning Architectures](https://arxiv.org/abs/2512.24695v1) · [PDF](../../../paper-readings/NL-2512.24695/v1/source/paper.pdf) | 多时间尺度优化统一记忆和优化器，Hope 组合自指记忆与 CMS；容量与优化器状态均应计入。 | | **[MoNe](../../../paper-readings/MoNe-2608.17616/v1/r1/reading-notes.zh.md)** · B · v1/r1
[MoNe: Modular Neural Memory for Efficient Long Context Inference](https://arxiv.org/abs/2608.17616v1) · [PDF](../../../paper-readings/MoNe-2608.17616/v1/source/paper.pdf) | 冻结 Transformer，逐层 SwiGLU 快权重压缩上下文，再转成查询 KV；任务训练与受控检索是重要条件。 | | **[MemoryMosaics](../../../paper-readings/MemoryMosaics-2507.03285/v3/r1/reading-notes.zh.md)** · B · v3/r1
[Memory Mosaics at scale](https://arxiv.org/abs/2507.03285v3) · [PDF](../../../paper-readings/MemoryMosaics-2507.03285/v3/source/paper.pdf) | 自适应核、门控 key 和多层记忆改善 ICL；长期分支保存历史 KV，不属于固定状态线性注意力。 | | **[Metis](../../../paper-readings/Metis-2607.26760/v2/r1/reading-notes.zh.md)** · B · v2/r1
[Metis: Memory Foundation Model](https://arxiv.org/abs/2607.26760v2) · [PDF](../../../paper-readings/Metis-2607.26760/v2/source/paper.pdf) | 跨轮持久矩阵以学习到的前向规则读写；说明紧凑状态可用于持久记忆，但离完整上下文质量仍远。 | ## 9. 边界与未计入的论文 下列 67 篇仍在完整清单中，但没有纳入 68 篇的机制计数。其价值是提供资源或任务对照；不能因为标题中出现 attention、memory 或 recurrence，就算作循环线性注意力的新方法。 **显式 KV、稀疏检索与压缩的参照，未作为固定循环 state 方法计数（21 篇）**：[Attention-Temperature](../../../paper-readings/Attention-Temperature-2505.14840/v1/r1/reading-notes.zh.md)、[BinaryPC](../../../paper-readings/BinaryPC-2608.04405/v1/r1/reading-notes.zh.md)、[BoV](../../../paper-readings/BoV-2606.02780/v5/r1/reading-notes.zh.md)、[DA](../../../paper-readings/DA-2609.02737/v1/r1/reading-notes.zh.md)、[DepthWeave-KV](../../../paper-readings/DepthWeave-KV-2607.06523/v1/r1/reading-notes.zh.md)、[Diffuser](../../../paper-readings/Diffuser-2210.11794/v2/r1/reading-notes.zh.md)、[DoSA](../../../paper-readings/DoSA-2610.13990/v1/r1/reading-notes.zh.md)、[EG-MLA](../../../paper-readings/EG-MLA-2509.16686/v1/r1/reading-notes.zh.md)、[FusedKV](../../../paper-readings/FusedKV-2512.03870/v3/r1/reading-notes.zh.md)、[GOAT](../../../paper-readings/GOAT-2601.15380/v2/r1/reading-notes.zh.md)、[HashAttention](../../../paper-readings/HashAttention-2412.14468/v2/r1/reading-notes.zh.md)、[LLA](../../../paper-readings/LLA-2607.15456/v2/r1/reading-notes.zh.md)、[LRKV](../../../paper-readings/LRKV-2601.11471/v3/r1/reading-notes.zh.md)、[LatentLLM](../../../paper-readings/LatentLLM-2505.18413/v1/r1/reading-notes.zh.md)、[RIS-Kernel](../../../paper-readings/RIS-Kernel-2607.21927/v1/r1/reading-notes.zh.md)、[ResidualKV](../../../paper-readings/ResidualKV-2602.08005/v2/r1/reading-notes.zh.md)、[SAS](../../../paper-readings/SAS-2609.13141/v1/r1/reading-notes.zh.md)、[SparDA](../../../paper-readings/SparDA-2606.04511/v1/r1/reading-notes.zh.md)、[SpargeAttn](../../../paper-readings/SpargeAttn-2502.18137/v8/r1/reading-notes.zh.md)、[VHA](../../../paper-readings/VHA-2610.17959/v1/r1/reading-notes.zh.md)、[VarRate](../../../paper-readings/VarRate-2607.15498/v1/r1/reading-notes.zh.md)。 **网络深度、层间/循环间共享及投影结构，未作为 token 历史 state 方法计数（15 篇）**：[AlgebraLayers](../../../paper-readings/AlgebraLayers-2609.32814/v1/r1/reading-notes.zh.md)、[DeltaAttnRes](../../../paper-readings/DeltaAttnRes-2605.18855/v1/r1/reading-notes.zh.md)、[DepthBench](../../../paper-readings/DepthBench-2609.32534/v1/r1/reading-notes.zh.md)、[DiscoLoop](../../../paper-readings/DiscoLoop-2607.00341/v2/r1/reading-notes.zh.md)、[ELR](../../../paper-readings/ELR-2610.12582/v1/r1/reading-notes.zh.md)、[LPT](../../../paper-readings/LPT-2610.02383/v1/r2/reading-notes.zh.md)、[LoopLM-Conditioning](../../../paper-readings/LoopLM-Conditioning-2609.36636/v1/r1/reading-notes.zh.md)、[LoopedReuse](../../../paper-readings/LoopedReuse-2610.19768/v1/r1/reading-notes.zh.md)、[MELT](../../../paper-readings/MELT-2605.07721/v2/r1/reading-notes.zh.md)、[MoD](../../../paper-readings/MoD-2404.02258/v1/r1/reading-notes.zh.md)、[MoDA](../../../paper-readings/MoDA-2603.15619/v1/r1/reading-notes.zh.md)、[OASIS](../../../paper-readings/OASIS-2605.17887/v2/r1/reading-notes.zh.md)、[Parcae](../../../paper-readings/Parcae-2604.12946/v1/r1/reading-notes.zh.md)、[RelaxedRecursive](../../../paper-readings/RelaxedRecursive-2410.20672/v3/r1/reading-notes.zh.md)、[ResFormer](../../../paper-readings/ResFormer-2410.17897/v5/r1/reading-notes.zh.md)。 **外部文档、智能体、参数记忆、数据或提示组织，未研究本报告的序列内循环 state（13 篇）**：[CL-Composition](../../../paper-readings/CL-Composition-2609.06986/v1/r1/reading-notes.zh.md)、[CLM](../../../paper-readings/CLM-2609.37725/v1/r1/reading-notes.zh.md)、[ExplicitLM](../../../paper-readings/ExplicitLM-2511.01581/v1/r1/reading-notes.zh.md)、[GenMem](../../../paper-readings/GenMem-2609.34633/v1/r1/reading-notes.zh.md)、[ICL-Data](../../../paper-readings/ICL-Data-2205.05055/v6/r1/reading-notes.zh.md)、[JitMem](../../../paper-readings/JitMem-2609.27334/v1/r1/reading-notes.zh.md)、[LightMem](../../../paper-readings/LightMem-2604.07798/v3/r1/reading-notes.zh.md)、[MemPrism](../../../paper-readings/MemPrism-2608.06745/v1/r1/reading-notes.zh.md)、[PartRep](../../../paper-readings/PartRep-2607.01792/v1/r1/reading-notes.zh.md)、[REMORY](../../../paper-readings/REMORY-2610.11287/v1/r1/reading-notes.zh.md)、[Sleep](../../../paper-readings/Sleep-2606.03979/v2/r1/reading-notes.zh.md)、[TIDE](../../../paper-readings/TIDE-2605.06216/v1/r1/reading-notes.zh.md)、[Trace-as-State](../../../paper-readings/Trace-as-State-2609.02702/v1/r1/reading-notes.zh.md)。 **主要研究扩散、潜空间语言建模、训练或表示分析，未给出本文所需的 state 机制（18 篇）**：[CALM](../../../paper-readings/CALM-2510.27688/v1/r1/reading-notes.zh.md)、[CDLM](../../../paper-readings/CDLM-2605.00161/v2/r1/reading-notes.zh.md)、[CKA](../../../paper-readings/CKA-1905.00414/v4/r1/reading-notes.zh.md)、[ClockDiffusion](../../../paper-readings/ClockDiffusion-2610.00894/v1/r1/reading-notes.zh.md)、[Cogentic](../../../paper-readings/Cogentic-2609.40324/v1/r1/reading-notes.zh.md)、[ConceptLM](../../../paper-readings/ConceptLM-2602.08984/v1/r1/reading-notes.zh.md)、[ELF](../../../paper-readings/ELF-2605.10938/v2/r1/reading-notes.zh.md)、[ELF-REG](../../../paper-readings/ELF-REG-2609.29102/v3/r1/reading-notes.zh.md)、[Efficient-DLM](../../../paper-readings/Efficient-DLM-2512.14067/v2/r1/reading-notes.zh.md)、[FMLM-star](../../../paper-readings/FMLM-star-2607.00714/v2/r1/reading-notes.zh.md)、[LangFlow](../../../paper-readings/LangFlow-2604.11748/v3/r1/reading-notes.zh.md)、[LoopMDM](../../../paper-readings/LoopMDM-2605.26106/v1/r1/reading-notes.zh.md)、[MDM-LS](../../../paper-readings/MDM-LS-2511.19152/v1/r1/reading-notes.zh.md)、[NCP-ArchPreview](../../../paper-readings/NCP-ArchPreview-2609.10715/v1/r1/reading-notes.zh.md)、[Puro-2B](../../../paper-readings/Puro-2B-2608.27370/v2/r1/reading-notes.zh.md)、[SEDD](../../../paper-readings/SEDD-2310.16834/v3/r1/reading-notes.zh.md)、[Sigma](../../../paper-readings/Sigma-2610.02665/v1/r1/reading-notes.zh.md)、[Smoothie](../../../paper-readings/Smoothie-2505.18853/v2/r1/reading-notes.zh.md)。 完整的 135 篇去重清单、选用版本、分类和纳入理由见 [CSV](assets/082ddc02a661-corpus_inventory.csv) / [JSON](assets/184075b8f84d-corpus_inventory.json)。统计单元为论文，不把同篇的 v1/v3 或 r1/r2 重复计数。