# MS-GLA：多时间尺度门控线性注意力研读笔记

**论文**：*MS-GLA: Multi-Scale Gated Linear Attention for Addressing Representational Bottlenecks via Multi-Temporal Resolution*  
**作者**：Prasoon Dev、Anirudh Sankar、Vasudeva Varma（IIIT Hyderabad）  
**版本**：arXiv:2609.35664v1，2026-09-28 提交；PDF 标注 COLM 2026 会议论文。  
**获取与研读日期**：2026-10-12。  
**原文**：[arXiv v1](https://arxiv.org/abs/2609.35664v1) · [本地 PDF](../source/paper.pdf) · [英文汇报 PDF](slides.en.pdf) · [可编辑 TeX](slides.en.tex)。下文页码均为从 1 开始的 PDF 页码，与本文印刷页码一致。

## 论文总览

MS-GLA 研究的是一个很具体的问题：在门控线性注意力（Gated Linear Attention, GLA）的固定大小矩阵记忆中，能否通过改变不同注意力头的**更新时间尺度**，更好地兼顾逐 token 的局部细节与跨较长片段的信息？

作者把同一层的四个注意力头分配给若干分支。细分支直接处理原序列；粗分支先对相邻隐藏状态取平均，再运行自己的 GLA。粗分支输出等整个池化块被读完后才可使用，之后保持到下一个块结束。最后，当前未池化隐藏状态产生 softmax 权重，逐位置融合各分支。主配置为尺度 $\{1,2,4\}$、头数 $[2,1,1]$。（Sec. 3，PDF pp. 4–5）

论文报告：在约 340M 参数模型上，主配置的两项平均困惑度由 **20.94 降至 18.96**，相对下降约 **9.5%**；三项召回任务平均 F1 由 **7.41 升至 8.81**，相对提升约 **18.9%**；训练吞吐约保留 GLA 的 **92.0%**，峰值显存增加约 **14.5%**。去掉原分辨率分支的 $\{2,4\}$ 配置明显退化，是理解论文最重要的消融。（Tables 1、2、4，PDF pp. 7、9）

阅读时应把方法价值与实验解释分开：**多尺度更新是清晰、可实现的结构设计；“严格匹配训练预算”和“15 倍连续上下文外推”两项说法，现有文档仍有需要澄清的地方。**附录训练步数与正文冲突，但公开结果 CSV 又指向同为 106,813 步的检查点；公开长文脚本默认则在 2,048-token 窗口内独立前向。下面在对应实验处解释这些证据，避免把文档矛盾直接当作实际训练不公平的定论。

## 结构地图

| 原文章节 | 论证作用 | PDF 页码与关键证据 |
| --- | --- | --- |
| 1 Introduction | 单一时间分辨率的记忆竞争问题 | pp. 1–2 |
| 2 Background and Related Work；2.1–2.3 | GLA 递推、MoM 路由、MS-SSM 多尺度思路 | pp. 2–4；Eqs. (1)–(7) |
| 3 Multi-Scale Gated Linear Attention；3.1–3.4 | 池化、分头、因果上采样、融合、分块训练 | pp. 4–5；Eqs. (8)–(11) |
| 4 Experimental Setup；4.1–4.2 | 模型变体与训练配置 | pp. 5–6 |
| 5.1 Language Modeling | 困惑度与零样本任务 | pp. 6–7；Table 1 |
| 5.2 Recall-Intensive Tasks | 精确信息召回 | p. 7；Table 2 |
| 5.3 Long-Context Generalization | 按文档位置观察困惑度 | pp. 7–8；Fig. 1 |
| 5.4 Fusion Layer Routing Stability | 各尺度融合权重是否随位置漂移 | p. 8；Table 3 |
| 5.5 Computational Efficiency | 吞吐、显存与训练耗时 | p. 9；Table 4 |
| 6 Discussion；6.1–6.3 | 细分辨率作用、尺度覆盖与容量分配 | pp. 9–10 |
| 7 Future Work；8 Conclusion | 扩大规模与结构扩展 | p. 10 |
| References | 方法与数据来源 | pp. 11–13 |
| A Limitations；B Training Details | 单种子与消融边界、详细训练配置 | pp. 13–14 |

## 一：动机——让不同记忆按不同节奏更新

### 1. GLA 的门控解决了什么

线性注意力把历史 key–value 对压缩到固定大小状态矩阵 $\mathbf S_t$。GLA 在写入新关联前，对已有记忆施加输入相关的遗忘门：

$$
\mathbf S_t=\operatorname{Diag}(\alpha_t)\mathbf S_{t-1}
             +\mathbf k_t^{\mathsf T}\mathbf v_t,
\qquad
\mathbf o_t=\mathbf q_t\mathbf S_t.
$$

这里沿用原文行向量约定：$\mathbf q_t,\mathbf k_t\in\mathbb R^{1\times d_k}$，$\mathbf v_t\in\mathbb R^{1\times d_v}$，$\mathbf S_t\in\mathbb R^{d_k\times d_v}$，输出 $\mathbf o_t\in\mathbb R^{1\times d_v}$。$\alpha_t$ 的 $d_k$ 个分量对状态逐行缩放，取值介于 0 与 1。它由当前隐藏状态的低秩投影和 sigmoid 类变换生成。（Sec. 2.1，PDF pp. 2–3；原文 Eqs. (2)、(5)、(6)）

直觉上，写入项保存新的 key–value 关联，遗忘项控制旧关联保留多少。随着序列增长，状态形状保持固定；但每个头仍在每个 token 到来时更新。这使同一时间步长下的有限表示资源，要同时应付快速变化的细节和变化较慢的背景信息。

### 2. 作者引入的结构偏置

MS-GLA 让一些头每个 token 更新，一些头每两个或四个 token 更新。粗分支接收池化后的隐藏状态，因此经历更少的状态更新，也过滤了一部分局部变化；细分支补足精确位置与词级细节。这里的“粗语义、细语法”是作者提出的功能解释，论文没有直接用语法/语义探针测量各分支的专门化。

这种设计与混合记忆（Mixture-of-Memories, MoM）的区别在于：MoM 用稀疏路由决定 token 写入哪些记忆；MS-GLA 预先规定每条分支处理序列的时间粒度，再对分支输出做稠密融合。其多尺度动机来自 MS-SSM，但具体分解采用固定平均池化，未采用 MS-SSM 的可训练多尺度卷积分解。（Secs. 2.2–2.3，PDF pp. 3–4）

## 二：方法——从输入到输出逐步拆解

### 1. 数据流与符号

输入为一层的隐藏状态序列 $\mathbf X\in\mathbb R^{L\times d}$。对每个尺度 $s\in\mathcal S$，数据依次经过：

$$
\mathbf X\ \longrightarrow\ \mathbf X^{(s)}
\ \xrightarrow{\mathrm{GLA}_s}\ \mathbf Y^{(s)}
\ \xrightarrow{\text{因果保持}}\ \widehat{\mathbf Y}^{(s)}
\ \xrightarrow{\text{逐位置加权求和}}\ \mathbf O.
$$

| 符号 | 含义 |
| --- | --- |
| $L,d$ | 原序列长度、模型隐藏维度 |
| $s,\mathcal S$ | 池化因子、尺度集合；$s$ 越大，时间分辨率越低 |
| $H,h_s$ | 总注意力头数、分支 $s$ 的头数 |
| $d_k,d_v$ | 每个头的 key 与 value 维度 |
| $\mathbf M$ | 有效 token 掩码，padding 为 0 |
| $\widehat{\mathbf Y}^{(s)}$ | 恢复到原长度的分支输出，形状 $L\times d$ |
| $w_{t,s}$ | 位置 $t$ 分配给尺度 $s$ 的融合系数 |

各分支在自己的头空间中计算，再经各自输出投影回到共同的 $d$ 维空间，所以不同头数的分支仍可直接加权求和。

### 2. 非重叠平均池化

使用从 0 开始的 token 与块索引，原文 Eq. (8) 为：

$$
\mathbf X_i^{(s)}=
\frac{\sum_{j=0}^{s-1}\mathbf X_{is+j}\mathbf M_{is+j}}
{\max\left(1,\sum_{j=0}^{s-1}\mathbf M_{is+j}\right)}.
$$

池化沿时间维进行，隐藏维度仍是 $d$。有掩码时只对有效 token 求平均；分母下界 1 避免全 padding 块除零。长度不整除 $s$ 时在右侧补零，池化长度为 $\lceil L/s\rceil$。无掩码时采用普通平均；非完整尾块需结合补零处理理解。（Sec. 3.1，PDF p. 4）

例如 $s=4$ 的首个输入是 $(\mathbf x_0+\mathbf x_1+\mathbf x_2+\mathbf x_3)/4$。它在原序列位置 0、1、2 都包含尚未看到的信息，因而**平均池化必须配合输出延迟，整个层才满足自回归因果性**。

### 3. 固定总头数，独立分支参数

原文 Eq. (9) 要求：

$$
\sum_{s\in\mathcal S}h_s=H.
$$

每条分支拥有独立的 query、key、value、门控、归一化和输出投影；其总 key/value 宽度随 $h_s/H$ 成比例分配。若各头维度保持 $d_k\times d_v$，全层递归矩阵元素总数为：

$$
\sum_s h_s d_k d_v=H d_k d_v.
$$

因此核心状态预算与尺度数无关。按公开配置 $d=1024$、总 key 宽度 512、总 value 宽度 1024、$H=4$，每头状态为 $128\times256$，全层合计 131,072 个元素。这个数是按配置得到的状态元素数，不是训练显存用量。（Sec. 3.2，PDF pp. 4–5；[作者模型配置](https://github.com/prasoondev/msgla/blob/45fa2abc4e3efe2ffc79641473dde0984dbcab91/flame/configs/ms_gla_340M.json)）

“状态预算相同”也需与“所有参数逐项完全相同”区分。公开实现为每条分支分别构造低秩门投影，并增加融合层；这些会引入少量额外参数。论文用约 340M 描述总体模型规模，更精确的表述是：**保持总头数和主要递归状态规模，参数规模近似匹配。**（[MS-GLA 分支实现](https://github.com/prasoondev/msgla/blob/45fa2abc4e3efe2ffc79641473dde0984dbcab91/flame/custom_models/ms_gla/ms_gla_layer.py#L162-L234)；[GLA 投影实现](https://github.com/prasoondev/msgla/blob/45fa2abc4e3efe2ffc79641473dde0984dbcab91/3rd_party/flash-linear-attention/fla/layers/gla.py#L123-L169)）

### 4. 因果上采样：块结束后才释放输出

原文把每个粗输出重复 $s$ 次，再整体右移 $s-1$ 位，前面补零。下面用等价索引式帮助理解；这是依据 Sec. 3.3 写出的教学表达，并非原文新增编号公式：

$$
\widehat{\mathbf Y}^{(s)}_t=
\begin{cases}
\mathbf 0,&t<s-1,\\
\mathbf Y^{(s)}_{\left\lfloor(t-s+1)/s\right\rfloor},&t\ge s-1.
\end{cases}
$$

以 $s=4$ 为例：

| 原 token 位置 $t$ | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| --- | --- | --- | --- | --- | --- | --- | --- | --- |
| 粗分支可用输出 | 0 | 0 | 0 | $y_0$ | $y_0$ | $y_0$ | $y_0$ | $y_1$ |

$y_0$ 用到 $x_0\ldots x_3$，因此最早在位置 3 参与输出；位置 4–6 继续使用它，直到位置 7 才切换为 $y_1$。若位置 $t$ 的层输出用于预测下一个 token，则整个过程只依赖已知输入。代价是粗分支具有更新延迟；当前 token 的即时细节主要由细分支及模型其余路径承担。（Sec. 3.3，PDF p. 5）

### 5. 输入相关的尺度融合

原文 Eqs. (10)–(11) 为：

$$
\mathbf w_t=\operatorname{Softmax}(\mathbf W_{\rm fuse}\mathbf x_t+\mathbf b_{\rm fuse}),
\qquad
\mathbf O_t=\sum_{s\in\mathcal S}w_{t,s}\widehat{\mathbf Y}^{(s)}_t.
$$

这里 $\mathbf W_{\rm fuse}\in\mathbb R^{|\mathcal S|\times d}$，$\mathbf b_{\rm fuse}\in\mathbb R^{|\mathcal S|}$；融合式将 $\mathbf x_t$ 视作列向量。系数非负且总和为 1。路由读取当前未池化隐藏状态，使每个位置可以改变细节与粗摘要的配比。该 softmax 作用于少量尺度分支，所有分支都被计算，并不是 token 对历史位置的 softmax attention。（Sec. 3.3，PDF p. 5）

### 6. 为什么粗时间步可能保留更久

一个简化教学例子：假设某个状态分量每次更新固定乘以 $a\in(0,1)$，且忽略新写入与块边界差异。经过 $D$ 个原 token 后，细分支的旧信息约乘以 $a^D$，尺度 $s$ 的分支约乘以 $a^{D/s}$。因而相同“每次更新遗忘率”在粗尺度上对应更长的原 token 时间范围：

$$
T_{1/2}^{(s)}\approx s\frac{\ln(1/2)}{\ln a}.
$$

实际模型的门随输入变化且各分支独立学习，这个推导解释的是结构偏置。平均池化同时会混合精确信息、丢失块内部分顺序细节；所以更长的更新时间范围并不会自动带来更好的精确召回。这也解释了为什么保留 $s=1$ 很关键。

### 7. 训练与逐 token 推理

**训练**：每条分支仍接收连续的短序列，可以复用 GLA 的分块并行算法。池化块大小 $s$ 与 GLA 计算内核的 chunk 大小是不同概念。前者改变输入时间粒度，后者安排计算。（Sec. 3.4，PDF p. 5）

仅计每头递推更新次数，且假设序列长度整除所有尺度，$\{1,2,4\}$、$[2,1,1]$ 相对基线的更新量为：

$$
\frac{2L+L/2+L/4}{4L}=\frac{11}{16}=68.75\%.
$$

这不是端到端 FLOPs 或运行时间比。独立分支调用、输出投影、恢复完整长度的张量、融合以及不变的 MLP，都影响实际成本。

**流式推理**：按作者公开实现，每条分支保存 GLA 状态、尚未组成完整块的隐藏状态以及最近一次输出。收到新 token 后先累积；凑满 $s$ 个再池化、更新粗状态并替换缓存输出。未满时保持旧输出。固定尺度集合下，这些缓存不随已处理序列长度增长，但确实多于单纯的递归矩阵。（[作者缓存实现](https://github.com/prasoondev/msgla/blob/45fa2abc4e3efe2ffc79641473dde0984dbcab91/flame/custom_models/ms_gla/ms_gla_layer.py#L87-L97)）

## 三：实验——比较对象、协议和预算

### 1. 模型变体

共同骨干为 decoder-only 模型，24 层，隐藏维度 1024，总头数 4，约 340M 参数；主要变化集中在序列混合模块。基线是 GLA，没有在同一训练方案下重新训练标准 Transformer、Mamba 或 RetNet。（Sec. 4，PDF pp. 5–6；Appendix A，p. 13）

| 模型 | 尺度 | 头数分配 | 检验的问题 |
| --- | --- | --- | --- |
| GLA | 原 token 分辨率 | 4 | 单分辨率基线 |
| MS-GLA $\{1,2\}$ | 1、2 | 2、2 | 最小的细粗组合 |
| MS-GLA $\{1,4\}$ | 1、4 | 2、2 | 更粗分支能否替代中间尺度 |
| MS-GLA $\{2,4\}$ | 2、4 | 2、2 | 去掉原 token 分支 |
| MS-GLA $\{1,2,4\}$ | 1、2、4 | 2、1、1 | 三尺度主配置 |
| MS-GLA $\{1,2,4,8\}$ | 1、2、4、8 | 1、1、1、1 | 扩大尺度覆盖，同时减少细分支头数 |

最后两行同时改变尺度覆盖和头分配，因此两者差异支持“资源分散可能损害局部处理”的解释，不能单独确定究竟是新增 $s=8$ 还是减少细分支容量导致变化。

### 2. 训练配置与预算矛盾

数据为 FineWeb-Edu，使用 `fla-hub/transformer-1.3B-100B` tokenizer。训练序列长 2,048，batch size 32，梯度累积 1，单张 NVIDIA RTX PRO 6000 Max-Q。AdamW 峰值学习率 $3\times10^{-4}$，weight decay 0.1，$\epsilon=10^{-15}$；warmup 3,400 步，余弦衰减至峰值的 0.1，梯度裁剪范数 1.0，单一种子 42。（Appendix B，PDF pp. 13–14）

正文 Sec. 4.2（p. 6）声明所有模型使用 7B tokens、相同预算。附录 B（p. 13）却写 GLA 为 68,664 步，MS-GLA 为 106,813 步。按同一 batch 与序列长度计算：

$$
68{,}664\times32\times2{,}048=4{,}499{,}963{,}904,
$$

$$
106{,}813\times32\times2{,}048=7{,}000{,}096{,}768.
$$

**补充证据使这一问题更像“需要澄清记录”，而非可以直接认定预算不匹配。**作者公开的 [GLA 结果 CSV](https://github.com/prasoondev/msgla/blob/45fa2abc4e3efe2ffc79641473dde0984dbcab91/benchmark_gla/results/7B/ppl_acc/gla.csv) 与 [MS-GLA 主配置 CSV](https://github.com/prasoondev/msgla/blob/45fa2abc4e3efe2ffc79641473dde0984dbcab91/benchmark_msgla/results/7B/124/ppl_acc/msgla.csv) 均指向 `step-106813`，而且表内指标与论文 Table 1 对应；另一方面，[train.sh 示例](https://github.com/prasoondev/msgla/blob/45fa2abc4e3efe2ffc79641473dde0984dbcab91/flame/train.sh) 写的是两者均训练 4.5B 的配置。

因此，附录步数可能沿用了旧实验。现有证据不能仅凭路径名确认真实累计 token 数，但也不应把论文结果武断地解释成“GLA 只训练 4.5B”。复现时应以表格对应检查点的训练日志、累计 tokens 和配置快照统一口径。

### 3. 各组实验衡量什么

| 实验 | 数据与指标 | 指标含义与比较口径 |
| --- | --- | --- |
| 语言建模 | Wikitext、LAMBADA perplexity（PPL）↓ | 预测损失的指数；越低越好；论文取两项 PPL 的算术平均 |
| 零样本任务 | LAMBADA、PIQA、HellaSwag、Winogrande 分数↑ | 任务答对比例；公开 CSV 将 HellaSwag 标为 `acc_norm`；总分平均包含四项 |
| 召回 | SWDE、FDA、SQuAD 的 F1↑ | F1 综合精确率与召回率；按论文采用的改造版本评估生成答案，再取三项平均 |
| 文档位置评测 | PG19、SlimPajama 按位置分桶 PPL↓ | 横轴是文档位置，需额外确认实际输入窗口和跨窗口状态是否保留 |
| 路由稳定性 | 32K 序列首、中、末 10% 的平均融合权重 | 检查区域平均分配是否漂移 |
| 成本 | tokens/s↑、峰值 GiB↓、训练耗时↓ | 同一硬件训练运行的测量结果 |

表 1 的 Avg. score 数值对应四项任务平均，正文 Sec. 5.1 叙述时只列举了其中三个；读表时应按实际列口径理解。平均 PPL 是两个任务 PPL 的汇总统计，不是把两份语料合起来重新计算的语料级 PPL。

## 四：结果——按原文五组实验解读

### 1. 语言建模：三尺度平均最好，单项有取舍

下表保留原文报告的两位小数。（Table 1，PDF p. 7）

| 模型 | Wikitext PPL↓ | LAMBADA PPL↓ | 平均 PPL↓ | 平均任务分数↑ |
| --- | ---: | ---: | ---: | ---: |
| GLA | 19.63 | 22.26 | 20.94 | 41.94 |
| $\{1,2\}$ | 19.25 | 20.99 | 20.12 | 42.23 |
| $\{1,4\}$ | **17.43** | 21.69 | 19.56 | 42.58 |
| $\{2,4\}$ | 21.66 | 31.47 | 26.56 | 42.01 |
| $\{1,2,4\}$ | 18.33 | **19.59** | **18.96** | **42.85** |
| $\{1,2,4,8\}$ | 18.80 | 20.18 | 19.49 | 42.31 |

主配置的平均 PPL 降幅为 $(20.94-18.96)/20.94\approx9.46\%$；平均任务分数提高 **0.91 个百分点**。$\{1,4\}$ 的 Wikitext 最好，说明最好的尺度组合依赖指标；多一个尺度也不一定更好，四尺度平均 PPL 高于三尺度。

| 模型 | LAMBADA↑ | PIQA↑ | HellaSwag↑ | Winogrande↑ |
| --- | ---: | ---: | ---: | ---: |
| GLA | 19.33 | 64.20 | 33.94 | 50.28 |
| $\{1,2\}$ | 19.68 | 65.18 | 34.89 | 49.17 |
| $\{1,4\}$ | 19.89 | 63.87 | **35.49** | 51.07 |
| $\{2,4\}$ | 16.15 | 65.18 | 34.17 | **52.57** |
| $\{1,2,4\}$ | **20.69** | **65.83** | 35.01 | 49.88 |
| $\{1,2,4,8\}$ | 20.34 | 65.34 | 34.53 | 49.01 |

粗尺度专用的 $\{2,4\}$ 虽然语言模型 PPL 明显恶化，却在 Winogrande 单项最高，平均任务分数也略高于 GLA。因此应把主结论表述为“含细分支的配置在综合指标上较好”，而非“所有配置、每个任务都提升”。作者关于中间尺度改善连贯性、Winogrande 不敏感于长距离结构的解释，主要依据这些任务间差异，尚没有隔离机制的实验。（Secs. 5.1、6.2，PDF pp. 6–7、9–10）

### 2. 召回：18.9% 是相对平均 F1 提升

| 模型 | SWDE F1↑ | FDA F1↑ | SQuAD F1↑ | 平均 F1↑ |
| --- | ---: | ---: | ---: | ---: |
| GLA | 7.86 | 5.52 | 8.84 | 7.41 |
| $\{1,2\}$ | 9.26 | 5.95 | 9.79 | 8.33 |
| $\{1,4\}$ | 8.28 | **6.06** | 10.32 | 8.22 |
| $\{2,4\}$ | 5.96 | 5.42 | 8.21 | 6.53 |
| $\{1,2,4\}$ | **9.30** | 5.98 | **11.15** | **8.81** |
| $\{1,2,4,8\}$ | 7.59 | 5.27 | 11.05 | 7.97 |

来源：Table 2，PDF p. 7。

主配置提升 **1.40 个 F1 分值点**，相对增幅 $(8.81-7.41)/7.41\approx18.89\%$。这是三项平均 F1 的变化，不是准确率增加 18.9 个百分点。各任务绝对 F1 仍低，结果体现的是同一小模型设置下的相对改善。

去掉 $s=1$ 后三项 F1 都低于 GLA，支持保留精细信息路径的必要性。四尺度模型虽保持 SQuAD 11.05，但 SWDE 7.59、FDA 5.27 都低于 GLA，说明增加粗尺度会与精确召回所需的细分支容量产生取舍。

### 3. 长文位置曲线：先读图，再判断它检验了什么

![图 1：PG19 与 SlimPajama 按位置分桶的困惑度](figures/fig-01-long-context.png)

原文 Fig. 1，PDF p. 8；复用作者 TeX 包中的原图。左面板为 PG19，右面板为 SlimPajama；横轴为位置桶（K tokens），纵轴为 PPL，越低越好。图例区分 GLA 和五种 MS-GLA 配置。

**图中直接可见的事实**：含 $s=1$ 的曲线整体低于 GLA；$\{2,4\}$ 通常最高。PG19 各模型首桶较高，其后曲线起伏且末端回落，主配置更低。SlimPajama 各模型在约 12K 处出现峰值，后段尤其约 24K 之后均明显上升。

这与 Sec. 6.3（p. 10）对 PG19 基线“5K 以后持续上漂”的描述不完全一致；右面板也不适合概括为主配置全程平坦。原图支持**相对 PPL 优势**，没有直接展示状态饱和程度；12–13K 峰值由文档边界引起，是作者的解释，图中没有单独标注边界事件。

**评测协议影响“长上下文”的含义。**作者公开的 [MS-GLA 评测函数](https://github.com/prasoondev/msgla/blob/45fa2abc4e3efe2ffc79641473dde0984dbcab91/benchmark_msgla/eval_msgla_perplexity.py#L195-L250) 与 [GLA 评测函数](https://github.com/prasoondev/msgla/blob/45fa2abc4e3efe2ffc79641473dde0984dbcab91/benchmark_gla/eval_gla_perplexity.py#L219-L273) 把文档切成滑动窗口，对每个窗口独立调用 `model(chunk, use_cache=False)`，不传递跨窗口状态；`max_ctx` 默认 2,048，[README 示例](https://github.com/prasoondev/msgla/blob/45fa2abc4e3efe2ffc79641473dde0984dbcab91/README.md) 也显式使用 2,048。

文档可截取到 32,768 tokens，之后按绝对位置统计 PPL；公开 JSON 的最后一个位置桶从 30,720 开始。这与“预测该位置时模型实际利用了之前三万多个 token”是两回事。若按上述默认协议运行，30K 位置的预测仍只获得至多 2K 的局部窗口，因而不能据此确认 15 倍连续状态外推。

公开[结果 JSON](https://github.com/prasoondev/msgla/blob/45fa2abc4e3efe2ffc79641473dde0984dbcab91/benchmark_msgla/results/7B/124/slimpg19/msgla_124_results.json) 未记录 `max_ctx` 和 stride，论文也未给出 Fig. 1 对应的确切启动参数。因此合理判断是：**连续长上下文泛化主张的复现链条不足；需补充实际运行参数，或用完整长序列前向/携带状态的分块评测重新验证。**不能由默认脚本反推作者当时一定使用了默认值。

### 4. 融合权重：区域平均稳定，细分支权重较高

主配置三个尺度的平均权重如下，单位为 %。（Table 3，PDF p. 8）

| 序列区域 | $s=1$ | $s=2$ | $s=4$ |
| --- | ---: | ---: | ---: |
| 前 10% | 52.64 | 18.41 | 28.95 |
| 中间 10% | 52.91 | 18.34 | 28.76 |
| 后 10% | 52.57 | 18.41 | 29.03 |

从开头到末尾三个系数最多变化 0.08 个百分点，区域平均确实稳定。两尺度 $\{1,2\}$ 的细分支约占 73%，$\{1,4\}$ 约占 70%；四尺度的细分支约占 48%，是最大单项，但未超过一半。

该结果支持模型保留了多尺度的平均使用。权重均值稳定无法说明每个 token 的路由都分散；权重大小也未计入各分支输出的范数，不能直接等同于因果贡献。尤其 $\{2,4\}$ 也具有稳定的约 50/50 路由，却表现较差，表明稳定本身不能解释性能优劣。

### 5. 效率：约 8% 吞吐损失，约 14.5% 显存增加

| 模型 | 吞吐 tokens/s↑ | 峰值显存 GiB↓ | 原文训练耗时 |
| --- | ---: | ---: | --- |
| GLA | 31,989 | 70.2 | 3 天 1:49:25 |
| $\{1,2\}$ | 27,619 | 86.7 | 2 天 18:23:08 |
| $\{1,2,4\}$ | 29,437 | 80.4 | 2 天 22:48:41 |
| $\{1,2,4,8\}$ | 27,201 | 89.2 | 2 天 23:43:25 |
| $\{2,4\}$ | 34,123 | 71.5 | 2 天 9:11:04 |

来源：Table 4，PDF p. 9；该表未列出 $\{1,4\}$ 的成本。

主配置的吞吐为 $29{,}437/31{,}989\approx92.02\%$，显存为 $80.4/70.2\approx1.1453$ 倍。尽管递归矩阵数量保持固定，多分支中间张量和训练计算图仍会增加显存；“等状态”并不蕴含“等训练内存”。$\{2,4\}$ 吞吐最高，但质量退化使它不能成为主要性能结论。

原表还有一列标为 TFLOPs，依次为 91.2、78.9、84.0、77.8、97.4；未明确说明它是总运算量、每步运算量还是计算速率，不能从 91.2→84.0 直接推导“总算力节省 7.9%”。训练总耗时与吞吐排序也不一致：主配置吞吐较低，总耗时却较短。结合训练预算记录差异和作者提到的硬件供电问题，墙钟时间宜作为报告值保留，不作为严格同工作量加速结论。可直接支持的成本判断是表内吞吐与峰值显存的取舍。

## 五：结论——最有价值的设计与下一步证据

### 1. 方法启发

MS-GLA 提供了一个低复杂度的研究方向：除了改变门控函数或增大状态，还可以把固定递归记忆分配到不同更新频率。池化、完整块释放、保持与融合四步组成了明确的计算路径。对设计线性序列模型最有用的经验是：**粗尺度承担较慢更新，细尺度保住及时、精确的 token 信息；扩大尺度覆盖必须同时考虑每条分支的容量。**

“有效记忆容量增加”应理解为作者对利用效率改善的解释：物理矩阵状态没有变大，论文也未给出容量增加的定理。不同分辨率改善了报告中的平均 PPL 和 F1，但是否确实缓解了长程状态饱和，仍需匹配该主张的评测。

### 2. 决定结论强度的限制

除前面具体讨论的训练记录和长文协议问题外，Appendix A（p. 13）明确说明：全部模型只有一个训练种子，规模限于 340M；直接对照只有 GLA；没有池化算子、均匀融合与学习融合之间的消融。因此平均池化和动态路由各自贡献多少尚未被分离，小幅下游分数差异也缺少多种子方差。与其他架构的竞争力不能由“本论文优于 GLA、另一篇 GLA 优于某模型”的跨设置传递比较确定。

### 3. 最有信息量的后续实验

1. **统一训练与检查点记录**：让基线和变体使用相同累计 token 数、优化日程及多种子，记录精确参数数目；澄清附录 68,664 步与结果 CSV 106,813 步的关系。
2. **直接检验连续长程记忆**：从相同前缀开始，比较完整长序列前向、跨块保留状态以及每 2K 清空状态；同时做跨块精确检索，分离局部语言建模质量和长程信息保留。
3. **拆开尺度、容量和融合机制**：保持细分支头数不变，再调整粗尺度；比较平均池化、末 token 池化以及均匀/学习融合，测分支移除后的性能变化。

作者提出的更大模型、语义自适应池化、逐层改变尺度集合和与 softmax 层混合，都属于值得研究的后续方向，本文尚未实验验证。（Sec. 7，PDF p. 10）

上述代码补充证据固定于作者仓库提交 [45fa2abc4e3e](https://github.com/prasoondev/msgla/commit/45fa2abc4e3efe2ffc79641473dde0984dbcab91)，获取日期为 2026-10-12；它帮助解释协议与实现，但不自动等同于产生论文每个实验结果的运行快照。