# Mamba-3：从状态空间原理改进序列建模

**论文**：Mamba-3: Improved Sequence Modeling using State Space Principles  
**作者**：Aakash Lahoti、Kevin Y. Li、Berlin Chen、Caitlin Wang、Aviv Bick、J. Zico Kolter、Tri Dao、Albert Gu  
**版本**：arXiv:2603.15569v1，提交于 2026-03-16；本次获取与研读日期：2026-10-20。  
**链接**：[arXiv](https://arxiv.org/abs/2603.15569v1) · [本地论文 PDF](../source/paper.pdf) · [英文汇报 PDF](slides.en.pdf) · [可编辑幻灯片](slides.en.tex)

## 论文总览

Mamba-3 的出发点是：**在固定大小的递归状态中，提高每次状态更新的表达能力，并把解码时闲置的计算能力用起来。** 作者沿状态空间模型（State Space Model，SSM）的连续动力学视角，引入三项可组合的改动：

| 改动 | 实际改变了什么 | 对应问题 |
| --- | --- | --- |
| 指数梯形离散化 | 当前状态同时接收当前与上一时刻的状态输入 | 局部序列交互与写入方式过于简单 |
| 复数状态转移 | 衰减之外增加输入相关的旋转，用累积 RoPE 实现 | 正实数衰减难以表达状态翻转与循环 |
| 多输入多输出（MIMO） | 每步通过多个输入、输出分支读写同一状态矩阵 | 解码受显存带宽限制，算力利用率低 |

在相同的 100B token 预训练设置下，1.5B Mamba-3 的单输入单输出（SISO）版本七项下游平均准确率为 **56.4%**，Gated DeltaNet（GDN）为 **55.8%**；参数量匹配的 MIMO 版本达到 **57.6%**。这些差异分别是 **+0.6、+1.8 个百分点**。MIMO 的收益伴随更高训练计算量；它在部分解码配置下接近或快于 Mamba-2，但并非所有配置都零开销。（Table 3，PDF p. 12；Table 6，PDF p. 15）

这篇论文最有价值的地方，是把“更灵活地写入”“让状态能够旋转”“在相同状态容量上增加计算”分别落实为递推公式、等价变换和可测量的硬件收益。

## 结构地图

下列页码均从 PDF 第一页开始计数，与本版本印刷页码一致。

| 原文章节 | 作用 | PDF 页码 / 关键证据 |
| --- | --- | --- |
| 1 Introduction | 推理优先的设计动机 | pp. 1–2 |
| 2 Preliminaries | Mamba-2 递推与状态空间对偶 SSD | pp. 3–4，Eqs. (1)–(3) |
| 3.1 Exponential-Trapezoidal Discretization | 三项递推、隐式卷积、并行形式 | pp. 4–7，Fig. 1，Table 1，Eqs. (4)–(7) |
| 3.2 Complex-Valued SSMs | 复数、实旋转与数据相关 RoPE 的等价性 | pp. 7–8，Props. 2–4，Eqs. (8)–(11) |
| 3.3 Multi-Input, Multi-Output | 算术强度、分块训练、参数化 | pp. 8–11，Table 2，Eqs. (12)–(14) |
| 3.4 Mamba-3 Architecture | BCNorm、偏置与完整模块 | pp. 11–12，Fig. 2 |
| 4.1 Language Modeling | 语言建模、MIMO、真实与合成检索 | pp. 12–14，Tables 3–4 |
| 4.2 SSM Methodology Ablations | 组件消融与状态追踪 | pp. 13–14，Table 5 |
| 4.3 Inference Efficiency to Performance Tradeoff | 状态容量与质量的折中 | pp. 14–15，Fig. 3 |
| 4.4 Fast Mamba-3 Kernels | 单步 kernel 与端到端推理时延 | p. 15，Tables 6–7 |
| 5 Related Work | SSM、线性注意力、在线回归视角的关系 | pp. 16–17 |
| 6 Conclusion And Future Work | 推理优先的架构取舍 | p. 18 |
| A Exponential-Trapezoidal Discretization | 变常数法、mask、误差阶、权重消融 | pp. 22–24，Table 8 |
| B Complex SSM Proofs | 复数转实数、累积旋转证明 | pp. 24–26 |
| C MIMO for Mamba-3 | 具体张量投影与参数量匹配 | p. 27 |
| D Experimental Details | 预训练与状态追踪协议 | pp. 27–28 |
| E Additional Experimental Results | 长度外推、归一化、训练曲线、GDN 容量对照 | pp. 28–29，Figs. 4–6，Table 9 |
| F Architecture Ablations | BC 偏置初始化及作用 | pp. 29–30，Table 10 |
| G Inference Kernel Latency Analysis | kernel 后端、融合与计时条件 | pp. 30–31，Tables 11–12 |

## 一：动机——线性复杂度之后还要优化什么

对于长度为 $T$ 的序列，标准注意力的完整序列交互计算随 $T^2$ 增长，KV cache 随 $T$ 增长；带 KV cache 的单步解码需要访问已有上下文，其注意力工作量随当前上下文长度增长。固定状态递归模型把历史压缩到有限状态中，单步状态更新的计算与存储不再随历史长度增长。

这种压缩有两类代价。第一，状态转移形式可能过于受限：Mamba-2 用一个正标量缩放整组状态，适合“记住或遗忘”，却缺少直接表达“翻转、循环”的算子。第二，有限状态无法像注意力一样随时重新访问任意历史 token，信息抽取尤其容易受损。

此外，低 FLOPs 不一定带来高硬件效率。SSM 解码要反复读写状态矩阵，却只做少量逐元素与外积运算；GPU 等待数据搬运时，计算单元可能闲置。Mamba-3 因而把设计目标设为：**在给定状态读写成本下，尽可能提高一次更新的建模价值。**（Secs. 1、3.3，PDF pp. 1–2、9）

## 二：方法——从递推式理解三个改动

### 2.1 基线、符号和完整数据流

先看单个标量输入通道。连续 SSM 为

$$
\dot{\mathbf h}(t)=\mathbf A(t)\mathbf h(t)+\mathbf B(t)x(t),
\qquad y(t)=\mathbf C(t)^\top\mathbf h(t).
$$

Mamba-2 将 $\mathbf A_t$ 限制为 $A_t I$，离散后得到

$$
\mathbf h_t=\alpha_t\mathbf h_{t-1}+\Delta_t\mathbf B_t x_t,
\qquad
\alpha_t=e^{\Delta_t A_t},\quad
y_t=\mathbf C_t^\top\mathbf h_t.
$$

这里 $A_t<0$、$\Delta_t>0$，因此 $0<\alpha_t<1$。较大的步长同时加快遗忘并放大新输入。在 Mamba-2 中 $A$ 本身不随 token 改变，转移通过 $\Delta_t$ 获得输入依赖性；Mamba-3 默认也让 $A_t$ 输入相关，作者称这项选择与输入无关的 $A$ 表现相近。（Sec. 2.2，PDF p. 3，Eq. (1)）

| 符号 | 含义 / 形状 |
| --- | --- |
| $T,D$ | 序列长度、模型宽度 |
| $N$ | 实数状态坐标数；复数表述中对应 $N/2$ 个复坐标 |
| $P$ | 单个 head 的输入通道数 |
| $\mathbf H_t\in\mathbb R^{N\times P}$ | 一个 head 的递归状态；由 $P$ 个标量通道合并而成 |
| $\Delta_t,A_t,\lambda_t$ | 步长、实数衰减参数、两端点混合权重 |
| $\boldsymbol\theta_t\in\mathbb R^{N/2}$ | 复数转移的虚部，决定每对坐标的旋转角 |
| $R$ | MIMO 分支数，主实验采用 $R=4$ |

![Mamba-2 与 Mamba-3 模块结构](figures/fig-02-architecture.png)

*原文 Fig. 2，PDF p. 11。图从下往上读取：投影产生 SSM 输入和门控；Mamba-3 的 BCNorm 与旋转位于状态更新之前；黄色部分表示可选 MIMO 投影。*

完整模型交替使用 Mamba-3 和 SwiGLU 模块，采用 pre-norm。Mamba-3 的 $\mathbf B,\mathbf C$ 投影先经过 RMSNorm，再加按 head、按通道学习的偏置，随后应用累积旋转。SSM 输出经过 SiLU 门控及输出投影。纯模型移除了 Mamba-2 的外部短卷积及其激活，也移除了原来的 post-gate RMSNorm；混合模型中是否恢复额外归一化，会显著影响长度外推。（Sec. 3.4，PDF pp. 11–12）

### 2.2 指数梯形离散化：让一次输入具有两次写入机会

**先处理衰减，再近似输入积分。** 对标量 $A(t)$，变常数法给出精确的一步解：

$$
\mathbf h(\tau_t)=
e^{\int_{\tau_{t-1}}^{\tau_t}A(s)\,ds}\mathbf h(\tau_{t-1})
+\int_{\tau_{t-1}}^{\tau_t}
e^{\int_\tau^{\tau_t}A(s)\,ds}\mathbf B(\tau)x(\tau)\,d\tau.
$$

把区间内 $A(s)$ 近似为右端点 $A_t$ 后，还需要计算

$$
\int_{\tau_{t-1}}^{\tau_t}
e^{(\tau_t-\tau)A_t}\mathbf B(\tau)x(\tau)\,d\tau.
$$

如果用右端点矩形近似，该项变成 $\Delta_t\mathbf B_t x_t$，恢复 Mamba-1/2 实现中的递推，作者称为 **exponential-Euler**。它与冻结各参数、对区间积分精确计算的零阶保持结果 $\frac{e^{\Delta_t A_t}-1}{A_t}\mathbf B_t x_t$ 有区别；此处采用标量 $A_t$ 的写法。（Sec. 3.1.1，PDF pp. 5–6；App. A，p. 22）

如果对这个带指数权重的被积函数混合左右端点，就得到

$$
\boxed{
\mathbf h_t=\alpha_t\mathbf h_{t-1}
+\beta_t\mathbf B_{t-1}x_{t-1}
+\gamma_t\mathbf B_t x_t
}
$$

$$
\alpha_t=e^{\Delta_t A_t},\qquad
\beta_t=(1-\lambda_t)\Delta_t\alpha_t,\qquad
\gamma_t=\lambda_t\Delta_t.
$$

$\lambda_t=\sigma(u_t)$ 由当前 token 的投影产生。取 $\lambda_t=1$ 恢复 exponential-Euler；取 $1/2$ 则等权平均变换后积分的两个端点。前一个端点需要乘上 $\alpha_t$，因为这部分输入还要经历当前区间的衰减。（Prop. 1，PDF p. 6，Eqs. (5)–(6)）

设 $\mathbf v_t=\mathbf B_t x_t$，先构造

$$
\mathbf u_t=\beta_t\mathbf v_{t-1}+\gamma_t\mathbf v_t,
$$

再执行 $\mathbf h_t=\alpha_t\mathbf h_{t-1}+\mathbf u_t$。这相当于在**状态输入**上做输入相关的宽度 2 卷积。它作用于 $\mathbf B_t x_t$，与在原始 $x,\mathbf B,\mathbf C$ 上单独做短卷积的位置和计算都不同。

为说明“再次写入”，把前三步展开：

$$
\begin{aligned}
\mathbf h_0&=\gamma_0\mathbf v_0,\\
\mathbf h_1&=(\alpha_1\gamma_0+\beta_1)\mathbf v_0+\gamma_1\mathbf v_1,\\
\mathbf h_2&=\alpha_2(\alpha_1\gamma_0+\beta_1)\mathbf v_0
+(\alpha_2\gamma_1+\beta_2)\mathbf v_1+\gamma_2\mathbf v_2.
\end{aligned}
$$

同一个 $\mathbf v_s$ 在到达时通过 $\gamma_s$ 写入，下一步还可通过 $\beta_{s+1}$ 补充。后续继续按衰减链传播。这是三项递推增加表达能力的直接方式。

![指数梯形规则与结构化 mask](figures/fig-01-trapezoid.png)

*原文 Fig. 1，PDF p. 4。左侧是衰减矩阵乘以双带矩阵；右侧比较输入积分的端点矩形近似与梯形近似。*

**并行训练仍然成立。** 状态空间对偶（SSD）把递推写成

$$
\mathbf Y=(\mathbf L\odot \mathbf C\mathbf B^\top)\mathbf X.
$$

Mamba-3 的 $\mathbf L=\mathbf L_{\rm decay}\mathbf L_{\rm 2band}$，其中双带矩阵的主对角线是 $\gamma_t$，次对角线是 $\beta_t$。对 $t>s$，

$$
L_{ts}=
\left(\prod_{k=s+2}^{t}\alpha_k\right)
(\alpha_{s+1}\gamma_s+\beta_{s+1}),
\qquad L_{tt}=\gamma_t.
$$

这使训练可以继续用结构化分块矩阵乘法，解码则用单步递推。并行形式是计算同一个映射的另一种方式，不要求部署时存储完整 $T\times T$ 矩阵。（Sec. 3.1.3，PDF pp. 6–7，Eq. (7)；App. A.1，pp. 22–23）

**二阶精度的准确范围。** 原文的 $O(\Delta_t^3)$ 局部误差指上述**状态输入积分的求积误差**，需要平滑有界等假设以及 $\lambda_t=1/2+O(\Delta_t)$。将 $A(t)$ 冻结到右端点本身有 $O(\Delta_t^2)$ 局部误差；默认的 sigmoid 权重也没有强制满足该二阶条件。因此，实际模型的主要理由是更灵活的写入结构，不能直接把它概括为对任意时变系统都有二阶精度。附录消融中，自适应 $\lambda$、固定 $1/2$、固定 $1$ 的 perplexity 分别为 **15.72、15.76、15.81**。（Remark 3，PDF p. 6；App. A.2–A.3，pp. 23–24，Table 8）

### 2.3 复数状态转移：把“衰减”扩展为“衰减加旋转”

将连续转移参数改为 $\mathrm{Diag}(A(t)+i\boldsymbol\theta(t))$ 后，每个复数坐标的离散转移为

$$
e^{\Delta_t(A_t+i\theta_t)}
=e^{\Delta_t A_t}\left[\cos(\Delta_t\theta_t)+i\sin(\Delta_t\theta_t)\right].
$$

实部与虚部组成二维实向量，就得到

$$
\mathbf h_t=\alpha_t\mathbf R_t\mathbf h_{t-1}
+\Delta_t\mathbf B_t x_t,\qquad
R(\phi)=
\begin{bmatrix}\cos\phi&-\sin\phi\\ \sin\phi&\cos\phi\end{bmatrix}.
$$

$\mathbf R_t$ 由 $N/2$ 个 $R(\Delta_t\theta_t[j])$ 沿对角线组成。$A_t$ 控制幅值，$\theta_t$ 控制方向变化。$N/2$ 个复数坐标用 $N$ 个实数存储，所以此处并不要求把同一 $N$ 配置下的存储再翻倍。输出取复数投影乘积的实部，原式使用转置而非共轭转置；转换为实坐标后，$\mathbf C$ 的虚部对应分量因此取负号。（Prop. 2，PDF pp. 7–8，Eqs. (8)–(9)；App. B.1，pp. 24–25）

**教学例子：奇偶性。** 从 $(1,0)$ 出发，输入 0 时保持，输入 1 时旋转 $\pi$，状态便在 $(1,0)$ 和 $(-1,0)$ 间切换。对输入 `1, 0, 1, 1`，状态依次表示奇、奇、偶、奇。这个理想化例子取无衰减、无额外写入，以单独展示转移算子的能力。

这里的限制应准确理解为 Mamba-2 的**正标量转移**。实际上 $R(\pi)=-I$ 具有负实特征值，也能做奇偶翻转，所以“任何实特征值都无法计算 parity”过强。论文比较的允许负特征值 GDN 也成功完成 parity；复数参数化提供的是更一般的输入相关旋转。（Sec. 3.2，PDF p. 7；Table 5b，p. 14；本段对特征值的说明为代数分析）

### 2.4 RoPE trick：旋转投影，避免逐步旋转整个状态矩阵

直接计算 $\mathbf R_t\mathbf H_{t-1}$ 会作用于 $N\times P$ 状态。作者把状态换到随时间旋转的坐标系中：

$$
\mathbf Q_t=\prod_{s=0}^{t}\mathbf R_s^\top,\qquad
\widetilde{\mathbf h}_t=\mathbf Q_t\mathbf h_t,\qquad
\overline{\mathbf B}_t=\mathbf Q_t\mathbf B_t,\quad
\overline{\mathbf C}_t=\mathbf Q_t\mathbf C_t.
$$

因为固定坐标配对上的二维旋转可交换，且标量 $\alpha_t$ 与旋转可交换，有 $\mathbf Q_t\mathbf R_t=\mathbf Q_{t-1}$，于是

$$
\widetilde{\mathbf h}_t
=\alpha_t\widetilde{\mathbf h}_{t-1}
+\Delta_t\overline{\mathbf B}_t x_t,\qquad
y_t=\overline{\mathbf C}_t^\top\widetilde{\mathbf h}_t.
$$

递推核心又只剩标量衰减，而旋转被吸收到 $\mathbf B,\mathbf C$ 上。每对坐标的旋转角等价于

$$
\phi_t[j]=\sum_{s=0}^{t}\Delta_s\theta_s[j],\qquad
Q_t^{(j)}=R(-\phi_t[j]).
$$

标准旋转位置嵌入（RoPE）按位置与固定频率决定角度；这里的角度累积的是**输入相关的相位增量**，因此能够随读到的符号改变状态。SSD 中 $\mathbf C,\mathbf B$ 分别对应 query、key，这也解释了为什么该等价形式表现为 Q/K 上的 RoPE。（Prop. 3，PDF p. 8，Eq. (10)；App. B.2，p. 25）

与梯形写入结合后的最终 SISO 递推为

$$
\boxed{
\widetilde{\mathbf h}_t
=\alpha_t\widetilde{\mathbf h}_{t-1}
+\beta_t\overline{\mathbf B}_{t-1}x_{t-1}
+\gamma_t\overline{\mathbf B}_t x_t,\qquad
y_t=\overline{\mathbf C}_t^\top\widetilde{\mathbf h}_t
}
$$

前一输入使用 $\mathbf Q_{t-1}$，当前输入与读出使用 $\mathbf Q_t$，不能把两个写入项都乘当前旋转。这对应原文 Eq. (11)；这里用 $\widetilde{\mathbf h}$ 明确区分变换前后的状态。（Prop. 4，PDF p. 8；App. B.3，p. 26）

### 2.5 MIMO：在同一个状态矩阵上增加读写分支

一个 head 的 SISO 实现把 $P$ 个通道合起来：

$$
\mathbf H_t=\alpha_t\mathbf H_{t-1}
+\Delta_t\mathbf B_t\mathbf x_t^\top,\qquad
\mathbf H_t\in\mathbb R^{N\times P}.
$$

$\mathbf B_t\mathbf x_t^\top$ 是秩至多为 1 的外积。MIMO 将

$$
\mathbf B_t,\mathbf C_t\in\mathbb R^{N\times R},\qquad
\mathbf X_t\in\mathbb R^{P\times R},
$$

从而以矩阵乘法 $\mathbf B_t\mathbf X_t^\top$ 写入，单次写入的秩最多为 $R$；以 $\mathbf Y_t=\mathbf H_t^\top\mathbf C_t\in\mathbb R^{P\times R}$ 读出。**持久化的状态仍是 $N\times P$，没有新增长度为 $R$ 的状态轴。**

合并前两项改动后，教学性统一表达为

$$
\widetilde{\mathbf H}_t
=\alpha_t\widetilde{\mathbf H}_{t-1}
+\beta_t\overline{\mathbf B}_{t-1}\mathbf X_{t-1}^\top
+\gamma_t\overline{\mathbf B}_t\mathbf X_t^\top,
\qquad
\mathbf Y_t=\widetilde{\mathbf H}_t^\top\overline{\mathbf C}_t.
$$

这里的横线表示对 $\mathbf B,\mathbf C$ 的各个分支使用相同累积旋转。原文 Sec. 3.3 先用两项递推解释 MIMO，再指出它可直接推广到三项递推；上式是将两部分合并后的写法。

**为什么增加 FLOPs 仍可能很快？** SISO 的大块内存访问来自状态矩阵，工作量约为 $NP$；MIMO 写入和读出约为 $NPR$，但小 $R$ 下状态读写仍占主导。Table 2 的 2-byte 数据估算给出

$$
I_{\rm SISO}=
\frac{5NP-P}{2(1+2N+P+NP)}\approx2.5,
$$

$$
I_{\rm MIMO}=
\frac{4NPR+NP-PR}{2(1+2NR+PR+NP)}
=\Theta(R),\qquad R\ll N,P.
$$

单位为 FLOP/byte。这个简化计数刻画的是算术强度的变化；实际时延还取决于状态回写、融合、额外投影及 kernel 实现。MIMO 的优势是能利用 tensor core 做小矩阵乘法，在带宽受限阶段增加有效计算。（Sec. 3.3，PDF p. 9，Table 2）

**参数量控制。** 若所有投影直接扩大 $R$ 倍，模型参数也会大幅增长。作者对共享的 $\mathbf B,\mathbf C$ 扩展投影，而每个 head 的输入、门控与输出采用低成本的通道缩放。例如先得到 $\mathbf x'_t=W_{X'}\mathbf U_t\in\mathbb R^P$，再令

$$
X_t[p,r]=W_X[p,r]\,x'_t[p].
$$

对应参数量从朴素的 $DPR$ 降为 $DP+PR$。输出先按分支门控，再用学习权重沿 $R$ 聚合，最后投回 $D$ 维。为了匹配总参数量，1.5B 模型的 MLP 中间宽度从 4096 降到 3824，减少约 6.6%。（Sec. 3.3，PDF pp. 10–11；App. C，p. 27）

**训练计算的代价。** 按输入、输出分支两两展开，朴素并行训练需要 $R^2$ 个 SISO 组合。分块算法可以缩短 chunk：设块长为 $C_{\rm chunk}$，在 $N=P$ 的分析条件下令

$$
C_{\rm chunk}R=N=P.
$$

原本约 $8TN^2$ 的主导 FLOPs 变成约 $8TRN^2$，增长由二次降为线性。作者报告 $R=4$ 的 MIMO kernel 约有 2 倍训练速度代价，但这不是表 3 的训练计算量匹配实验，也不是端到端训练成本的完整测量。（Sec. 3.3，PDF p. 10）

### 2.6 BC 偏置为什么重要

对归一化后的 $\mathbf B,\mathbf C$ 同时加偏置，内积会出现输入相关项、交叉项与固定偏置内积。作者据此推测，偏置在选择性映射中保留了类似卷积的输入无关结构，再与状态输入上的两点混合共同承担原短卷积的作用。这个解释与组件消融相符，但“偏置诱导卷积行为”在本文中是机制假说。

两项偏置默认按 head、按通道学习，并初始化为全 1。附录显示只有 $\mathbf B$ 偏置并不能复现同时使用 $\mathbf B,\mathbf C$ 的收益，因而不能直接把其他 Mamba 变体的单边偏置结论套到本模型。（Sec. 3.4，PDF pp. 11–12；App. F，pp. 29–30）

## 三：实验——各组比较究竟控制了什么

论文有几组不同预算的实验，不能把它们当作同一次训练的不同统计。

| 实验 | 模型与预算 | 要检验的问题 |
| --- | --- | --- |
| 语言建模与真实检索 | 180M、440M、880M、1.5B；各用 100B FineWeb-Edu tokens；2K 上下文 | 通用语言质量与检索能力 |
| 梯形、卷积、偏置消融 | 440M；约 20 倍参数量的 tokens，即约 8.8B | 各组件是否有实际作用 |
| 状态容量扫描 | 440M；40 倍参数量的 tokens，即约 17.6B | 固定参数预算下，状态容量如何换取质量 |
| 状态追踪合成任务 | 小型 1 层或 3 层模型；课程训练，测试长度 256 | 能否学习并外推状态变换 |
| 单步 kernel 时延 | 1.5B 配置；单张 H100；batch 128；FP32/BF16；$N=64,128$ | 新递推与 MIMO 的实际解码成本 |
| Prefill + decode | 单张 H100-SXM 80GB；输入 $L$，再生成 $L$ 个 token | 完整推理路径的长度扩展成本 |

约 8.8B、17.6B 是按原文 token/parameter 比例与 440M 标称规模计算的值。主语言模型均使用 Llama-3.1 tokenizer、BF16；Mamba 系列 expansion factor 为 2，默认 $N=128$、$P=64$。GDN 使用 $q,k$ 维度 128、$v$ 维度 256。（Sec. 4，PDF pp. 12–15；Apps. D–G，pp. 27–31）

对照的角色也不同：Transformer 是可直接访问历史 KV 的质量与检索参照；Mamba-2 是同系列递推参照；GDN 是强线性递归基线。状态追踪表单独使用允许特征值范围 $[-1,1]$ 的 GDN 变体，不能把它的特殊设定默认为所有表中的 GDN 都相同。

**指标。** 困惑度（perplexity，ppl）越低越好；下游准确率越高越好。Table 3 的平均值由七个准确率列构成：LAMBADA、HellaSwag、PIQA、ARC-Easy、ARC-Challenge、WinoGrande、OpenBookQA；不把 ppl 列算进去。HellaSwag 与 ARC-Challenge 使用表中标注的 `acc_n`，其余使用 `acc`。合成状态追踪报告的是 **scaled accuracy**，应保留这一口径，不能把接近 0 的值解释成几乎没有答对任何原始样本。

## 四：结果——收益来自哪里，又在哪些任务上失效

### 4.1 语言建模：SISO 小幅改善，MIMO 带来进一步提升

下表抽取 Table 3 的 FineWeb-Edu ppl / 七任务平均准确率，数字保持原文精度。

| 模型 | 180M | 440M | 880M | 1.5B |
| --- | --- | --- | --- | --- |
| Transformer | 16.89 / 42.8 | 13.03 / 49.6 | 11.42 / 52.8 | 10.51 / 55.4 |
| GDN | 16.52 / 43.2 | 13.01 / 49.7 | 11.37 / 53.7 | 10.45 / 55.8 |
| Mamba-2 | 16.76 / 42.9 | 13.00 / 49.6 | 11.35 / 53.4 | 10.47 / 55.7 |
| Mamba-3 SISO | 16.59 / 43.4 | 12.87 / 49.8 | 11.23 / 54.4 | 10.35 / 56.4 |
| Mamba-3 MIMO，$R=4$ | 16.46 / 43.5 | 12.72 / 51.0 | 11.11 / 55.3 | 10.24 / 57.6 |

*来源：Table 3，PDF p. 12。每格左侧 ppl↓，右侧平均准确率 %↑；所有规模均用 100B tokens。*

SISO 在四个规模上的平均准确率均高于所列基线，但差距在 180M、440M 很小。它也不是所有单项指标都最佳：180M 的 FineWeb-Edu ppl 为 16.59，略高于 GDN 的 16.52。

1.5B 的 MIMO 相对 SISO 将 ppl 从 **10.35 降到 10.24**，绝对降低 0.11；平均准确率增加 **1.2 个百分点**。相对 GDN 为 +1.8 个百分点，相对 Mamba-2 为 +1.9，相对 Transformer 为 +2.2。单项上，MIMO 的 ARC-Challenge 从 SISO 的 42.7 升到 44.5，LAMBADA accuracy 从 49.4 升到 51.7。参数量经过 MLP 缩减匹配，额外的 MIMO 计算则保留下来。

App. E 的 Fig. 5（PDF p. 29）显示 Mamba-3 MIMO 在训练过程中也保持较低验证 ppl，SISO 位于其后。这支持收益贯穿训练过程；图的横轴是训练步数，不能据此推导相同 GPU 时间下的优势。

### 4.2 检索：真实信息抽取仍是固定状态模型的弱项

真实任务都采用 cloze 形式，截断到训练匹配的 2K。以下选择四类具有代表性的结果：

| 1.5B 纯模型 | SWDE | SQuAD | FDA | TriviaQA |
| --- | ---: | ---: | ---: | ---: |
| Transformer | 48.9 | 46.6 | 58.4 | 67.5 |
| GDN | 32.7 | 40.0 | 28.3 | 63.5 |
| Mamba-2 | 30.7 | 39.1 | 23.7 | 64.3 |
| Mamba-3 SISO | 28.5 | 40.1 | 23.4 | 64.5 |
| Mamba-3 MIMO | 36.3 | 41.7 | 29.3 | 64.5 |

*来源：Table 4，PDF p. 14；原文任务得分，越高越好。*

SISO 在 SQuAD、TriviaQA 上有竞争力，SWDE 与 FDA 却略低于 Mamba-2；MIMO 改善这两项，但 FDA 的 29.3 仍远低于 Transformer 的 58.4。固定状态压缩历史的代价依然明显。其余两项中，SISO 的 NQ 为 26.5，高于 GDN 的 25.7；DROP 为 27.4，低于 Mamba-2 的 28.5，进一步表明收益具有任务差异。

合成“大海捞针”（NIAH）额外测试了 1K、2K、4K；其中 4K 超出了 2K 训练长度。下表仅比较 4K：

| 1.5B 纯模型 | NIAH-Single-1 | NIAH-Single-2 | NIAH-Single-3 |
| --- | ---: | ---: | ---: |
| Transformer，标准 RoPE | 0.0 | 0.0 | 0.0 |
| GDN | 99.8 | 49.8 | 34.2 |
| Mamba-2 | 62.0 | 11.8 | 13.4 |
| Mamba-3 SISO | 88.2 | 50.6 | 34.2 |
| Mamba-3 MIMO | 93.0 | 40.4 | 25.6 |

*来源：Table 4，PDF p. 14；原文得分，越高越好。*

Mamba-3 SISO 在三类 4K 测试上都优于 Mamba-2，却没有整体超过 GDN。MIMO 在 Single-1 更好，在 Single-2/3 反而低于 SISO。Transformer 的 4K 崩溃发生在本实验的标准 RoPE 与长度外推设置中，作者也指出位置编码可能是原因；这组结果不能用于说明注意力在检索上普遍更弱，因为同一张表中它在 2K 真实检索和 NIAH 上很强。

### 4.3 混合架构：少量注意力改善检索，归一化决定外推取舍

混合模型按 **5 个线性层 : 1 个 NoPE 自注意力层** 交替训练。Mamba-3 SISO 混合模型的 SWDE、FDA 达到 58.5、65.9，明显高于纯 SISO 的 28.5、23.4。这说明保留部分可直接访问历史的注意力，能补足纯递归压缩的检索短板。（Sec. 4.1.2，PDF p. 13；Table 4，p. 14）

这里“无额外 norm”仍然保留 BCNorm。额外输出归一化的类型与门控前后位置会改变结果：

| 混合 Mamba-3 SISO | LM 平均 | FDA，2K | NIAH-1，4K | NIAH-2，4K | NIAH-3，4K |
| --- | ---: | ---: | ---: | ---: | ---: |
| 无额外 norm | 56.4 | 65.9 | 36.2 | 9.4 | 8.8 |
| Post-gate default RMS | 56.5 | 61.9 | 100.0 | 49.2 | 62.0 |
| Pre-gate default RMS | 55.9 | 67.3 | 86.2 | 97.8 | 90.2 |
| Post-gate grouped RMS | 56.2 | 56.8 | 79.4 | 65.8 | 9.6 |
| Pre-gate grouped RMS | 56.1 | 52.4 | 100.0 | 96.0 | 56.8 |

*来源：Table 9，PDF p. 28；均为越高越好。Table 4 选择展示最后一种 norm。*

门控前的 grouped RMSNorm 把三类 4K NIAH 从 36.2/9.4/8.8 提升到 100.0/96.0/56.8，同时 FDA 从 65.9 降到 52.4。附录的 pre-gate default RMS 在 NIAH-3 达到 90.2，又高于 grouped 版本。因此，原文强调的 grouped 配置应理解为一个有用选项，不能视为所有任务和长度下的最佳归一化。

### 4.4 组件消融：偏置与梯形写入可以替代外部短卷积

| 440M SISO 变体 | ppl↓ |
| --- | ---: |
| 去掉 BC bias 与 trapezoidal | 16.68 |
| 只去掉 BC bias | 16.49 |
| 完整 Mamba-3 | 15.72 |
| 完整 Mamba-3 加回短卷积 | 15.85 |

*来源：Table 5a，PDF p. 14；该组为 Chinchilla 比例训练，不能与 100B-token 的 Table 3 直接拼接。*

在无偏置模型上恢复梯形写入，ppl 降低 0.19；再恢复偏置，降低 0.77。完整模型加回短卷积没有获益。这支持在该配置下由偏置和新递推共同承担局部建模功能。Table 8 进一步保留其他组件、只把 $\lambda$ 固定为 1，得到 15.81，说明新递推在完整架构里也有独立收益。

偏置初始化与偏置位置是两组分开的附录消融：

| BC 偏置初始化 | 是否学习 | ppl↓ |
| --- | --- | ---: |
| 全 1 | 是 | 15.72 |
| 全 0 | 是 | 16.57 |
| 全 1 | 否 | 15.80 |
| $\mathcal U(0,1)$ | 是 | 15.76 |
| $\mathcal U(-1,1)$ | 是 | 16.07 |

| 使用 B bias | 使用 C bias | ppl↓ |
| --- | --- | ---: |
| 否 | 否 | 16.52 |
| 是 | 否 | 16.68 |
| 否 | 是 | 15.98 |
| 是 | 是 | 15.69 |

*来源：Table 10a–b，PDF p. 30。保留各自实验报告值，不将不同表中相近的配置数字混为一轮实验。*

正初始化较稳定；仅 B 偏置略差，C 偏置更有帮助，两者共同使用最好。这也解释了为什么完整块设计应与递推公式一起理解。

### 4.5 状态追踪：关键是输入相关的相位

Parity 使用单层模型，模算术使用三层模型。训练长度下限为 3，上限按课程从 40 增至 160，最终在长度 256 评估；状态维度 64。每个课程运行 $10^4$ 步，batch 256；作者扫描 $d_{\rm model}\in\{32,64\}$ 与 8 个学习率，并报告最佳验证准确率对应结果。（App. D，PDF p. 28）

| 模型 | Parity | 无括号模算术 | 有括号模算术 |
| --- | ---: | ---: | ---: |
| Mamba-3 | 100.00 | 98.51 | 87.75 |
| Mamba-3，标准 RoPE | 1.56 | 20.70 | 2.62 |
| Mamba-3，无 RoPE | 2.27 | 1.49 | 0.72 |
| Mamba-2 | 0.90 | 47.81 | 0.88 |
| GDN，特征值范围 $[-1,1]$ | 100.00 | 99.25 | 93.50 |

*来源：Table 5b，PDF p. 14；scaled accuracy，%，越高越好。*

移除输入相关旋转、或改成标准位置 RoPE，都会大幅削弱 Mamba-3 的状态追踪。这个消融比单纯比较 Mamba-3 与 Mamba-2 更直接地支持旋转机制的作用：相位必须随内容而变。Mamba-3 在 parity 上满分，无括号模算术接近满分，但有括号任务仍落后于允许负特征值的 GDN。

原文部分文字将 Mamba-2 的失败概括为接近随机；表中它在无括号模算术达到 47.81 的 scaled accuracy，因此准确的表述是**未能完整学会这组三项任务**，而不是每项都等于随机水平。

### 4.6 容量与长度：更有效地使用状态，但容量仍不是时延

![相对总状态规模与预训练困惑度](figures/fig-03-state-pareto.png)

*原文 Fig. 3，PDF p. 15。横轴为相对总状态规模，越小存储越少；纵轴为 ppl，越低越好。蓝、橙、绿分别是 Mamba-2、Mamba-3 SISO、MIMO。*

这组 440M 模型用约 17.6B tokens 训练，扫描 $N=16,32,64,128$。Mamba-3 的曲线整体低于 Mamba-2，MIMO 进一步降低。作者强调 Mamba-3 可以用约一半状态规模达到相近或更好的 ppl。

**半状态不等于已测得端到端时延减半。** 横轴是状态规模代理；投影、门控、额外缓存、kernel 调度仍消耗时间。Table 6 的 BF16 数字中，Mamba-3 MIMO 的 $N=64$ 为 0.137 ms，而 Mamba-2 的 $N=128$ 为 0.203 ms；这是一组约 32.5% 的 kernel 时延下降，并非 50%。此外，该时延表采用 1.5B 配置，不能与 440M 容量扫描直接拼成严格的等质量实测点。（Sec. 4.3，PDF pp. 14–15；Table 6，p. 15）

![包含 GDN 的状态容量比较](figures/fig-06-gdn-pareto.png)

*原文 Fig. 6，PDF p. 29。相对总状态规模与 ppl 的比较扩展到 GDN；MIMO 曲线仍较低。*

GDN 使用 multi-head，Mamba 使用 multi-value 结构，因此相同 $d_{\rm state}$ 并不自动代表相同总状态容量。附录通过固定 GDN 的 $v_{\rm expand}=2$、调整 head 维度，再按相对总状态量画图，缓解这一比较问题。（App. E，PDF p. 29）

![长度外推的语言建模表现](figures/fig-04-length.png)

*原文 Fig. 4，PDF p. 28。横轴为评估上下文长度，纵轴为 FineWeb-Edu 测试 ppl；虚线标出 2K 训练长度。蓝、橙、绿分别为 GDN、Mamba-2、Mamba-3。*

从 2K 扩展到 32K 时，Mamba-3 的 ppl 持续下降，Mamba-2 在较长上下文处趋于平台。图上终点约为 Mamba-3 的 9.97、Mamba-2 的 10.17，此处为读图近似值。该结果说明纯语言建模能够从额外上下文获益；它与前述 NIAH、FDA 检索衡量的能力不同。

### 4.7 解码效率：BF16 优势明确，训练与 prefill 有代价

单步 kernel 测量使用单张 H100、batch 128、1.5B 配置、模型宽度 2048。单位是**毫秒**，越低越好：

| 模型 | FP32，N=64 | FP32，N=128 | BF16，N=64 | BF16，N=128 |
| --- | ---: | ---: | ---: | ---: |
| Mamba-2 | 0.295 | 0.409 | 0.127 | 0.203 |
| GDN | 0.344 | 0.423 | 0.176 | 0.257 |
| Mamba-3 SISO | 0.310 | 0.399 | 0.110 | 0.156 |
| Mamba-3 MIMO | 0.333 | 0.431 | 0.137 | 0.179 |

*来源：Table 6，PDF p. 15。*

BF16、$N=128$ 下，SISO 相对 Mamba-2 时延降低约 **23.2%**，MIMO 降低约 **11.8%**；MIMO 相对 SISO 增加约 **14.7%**。这些百分比由表中时延计算。FP32、$N=64$ 下最快的是 Mamba-2，故不能沿用正文“所有配置 SISO 都最快”的概括。

这也是“额外计算大体可以被带宽等待隐藏”的证据，而非任意硬件与 batch 下的零成本定律。基线使用作者公开的 Triton kernel；Mamba-3 解码使用 CuTe，并配合 Triton rotary，融合结构也有差异。测到的是架构与实现共同作用后的速度。（App. G.1，PDF pp. 30–31，Tables 11–12）

端到端表采用输入长度 $L$、再解码 $L$ 个 token 的协议；单位为**秒**，与上表不同：

| 模型 | 2K prefill | 2K prefill+decode | 4K prefill+decode | 16K prefill+decode |
| --- | ---: | ---: | ---: | ---: |
| vLLM，Llama-3.2-1B | 1.08 | 20.37 | 58.64 | 976.50* |
| GDN，1.5B | 2.01 | 18.22 | 36.41 | 145.87 |
| Mamba-2，1.5B | 2.02 | 18.62 | 37.22 | 149.02 |
| Mamba-3 SISO，1.5B | 2.02 | 17.57 | 35.11 | 140.61 |
| Mamba-3 MIMO，1.5B | 2.42 | 18.96 | 37.85 | 151.81 |

*来源：Table 7，PDF p. 15；App. G.2，pp. 30–31。单张 H100-SXM 80GB，目标 batch 128，重复三次。星号为 batch 16 测量后乘 8 的估计值，原因是 batch 128 超出显存。*

在 2K 时，MIMO 的 prefill 比 SISO 慢约 19.8%，完整 prefill+decode 慢约 7.9%；与 Mamba-2 的总时延接近。长序列下递归模型的总时延增长更缓。短输入的纯 prefill 则由优化过的 vLLM Transformer 更快。

这组 Transformer 基线是 1B，其余是 1.5B，且 16K Transformer 数据经过 batch 外推；因此它适合说明特定推理实现的扩展趋势，不是同模型规模、同训练质量下的直接架构速度倍数比较。递归模型在 16K 的输入输出张量过大时也采用分两段、传递状态的处理方式。

## 五：结论——这篇论文给出的设计启发

Mamba-3 展示了一条连贯的设计路线：通过离散化改变写入结构，通过输入相关旋转增强转移能力，再用 MIMO 把同一状态容量上的读写做得更丰富。三个部分都保留了递归推理与结构化并行训练之间的对应关系。

本文分析认为，最值得迁移到其他递归模型的有三点：

1. **从状态输入而非仅从原始 token 考虑局部混合。** 两点状态输入滤波与 BC 偏置共同替代短卷积，提示局部建模不必总由独立卷积层承担。
2. **利用坐标变换保留表达能力。** 复数动态能通过累积旋转投影实现，复杂的状态算子未必需要复杂的核心 kernel；成立条件是本文的标量衰减与固定二维旋转块结构。
3. **把状态容量与每步计算量作为两个独立设计变量。** 增大 $N$ 会增加持续的状态存储；增大 $R$ 则主要增加同一状态上的计算。后者在带宽受限的推理环境中可能更划算。

实际选型仍取决于任务：MIMO 在语言建模上更强，却不在所有 NIAH 任务上更好；信息抽取差距使混合注意力有明确价值；额外归一化又会改变混合模型的长度外推与真实检索折中。论文的质量实验最大为 1.5B、100B-token 预训练，因此其直接证据集中在这一规模与设置。

进一步研究最有针对性的方向，是把 $N$、$R$、训练计算量与**实际端到端时延**一起扫描，确定不同部署场景的等质量最优点；以及解释为什么同一额外 RMSNorm 会同时改善部分长度外推任务、削弱部分真实信息抽取任务。

原文第 5 节将这套设计与线性注意力、test-time regression 区分为不同的启发视角。比较合理的理解是：SSM 的连续动力学表示让这些改动更自然地出现；其中 MIMO 的硬件动机并不局限于 SSM，作者也明确提出可将其推广到其他现代递归模型。（Secs. 5–6，PDF pp. 16–18）