版本与下载

Mamba-3：从状态空间原理改进序列建模

论文：Mamba-3: Improved Sequence Modeling using State Space Principles
作者：Aakash Lahoti、Kevin Y. Li、Berlin Chen、Caitlin Wang、Aviv Bick、J. Zico Kolter、Tri Dao、Albert Gu
版本：arXiv:2603.15569v1，提交于 2026-03-16；本次获取与研读日期：2026-10-20。
链接：arXiv · 本地论文 PDF · 英文汇报 PDF · 可编辑幻灯片

论文总览

Mamba-3 的出发点是：在固定大小的递归状态中，提高每次状态更新的表达能力，并把解码时闲置的计算能力用起来。 作者沿状态空间模型（State Space Model，SSM）的连续动力学视角，引入三项可组合的改动：

改动	实际改变了什么	对应问题
指数梯形离散化	当前状态同时接收当前与上一时刻的状态输入	局部序列交互与写入方式过于简单
复数状态转移	衰减之外增加输入相关的旋转，用累积 RoPE 实现	正实数衰减难以表达状态翻转与循环
多输入多输出（MIMO）	每步通过多个输入、输出分支读写同一状态矩阵	解码受显存带宽限制，算力利用率低

在相同的 100B token 预训练设置下，1.5B Mamba-3 的单输入单输出（SISO）版本七项下游平均准确率为 56.4%，Gated DeltaNet（GDN）为 55.8%；参数量匹配的 MIMO 版本达到 57.6%。这些差异分别是 +0.6、+1.8 个百分点。MIMO 的收益伴随更高训练计算量；它在部分解码配置下接近或快于 Mamba-2，但并非所有配置都零开销。（Table 3，PDF p. 12；Table 6，PDF p. 15）

这篇论文最有价值的地方，是把“更灵活地写入”“让状态能够旋转”“在相同状态容量上增加计算”分别落实为递推公式、等价变换和可测量的硬件收益。

结构地图

下列页码均从 PDF 第一页开始计数，与本版本印刷页码一致。

原文章节	作用	PDF 页码 / 关键证据
1 Introduction	推理优先的设计动机	pp. 1–2
2 Preliminaries	Mamba-2 递推与状态空间对偶 SSD	pp. 3–4，Eqs. (1)–(3)
3.1 Exponential-Trapezoidal Discretization	三项递推、隐式卷积、并行形式	pp. 4–7，Fig. 1，Table 1，Eqs. (4)–(7)
3.2 Complex-Valued SSMs	复数、实旋转与数据相关 RoPE 的等价性	pp. 7–8，Props. 2–4，Eqs. (8)–(11)
3.3 Multi-Input, Multi-Output	算术强度、分块训练、参数化	pp. 8–11，Table 2，Eqs. (12)–(14)
3.4 Mamba-3 Architecture	BCNorm、偏置与完整模块	pp. 11–12，Fig. 2
4.1 Language Modeling	语言建模、MIMO、真实与合成检索	pp. 12–14，Tables 3–4
4.2 SSM Methodology Ablations	组件消融与状态追踪	pp. 13–14，Table 5
4.3 Inference Efficiency to Performance Tradeoff	状态容量与质量的折中	pp. 14–15，Fig. 3
4.4 Fast Mamba-3 Kernels	单步 kernel 与端到端推理时延	p. 15，Tables 6–7
5 Related Work	SSM、线性注意力、在线回归视角的关系	pp. 16–17
6 Conclusion And Future Work	推理优先的架构取舍	p. 18
A Exponential-Trapezoidal Discretization	变常数法、mask、误差阶、权重消融	pp. 22–24，Table 8
B Complex SSM Proofs	复数转实数、累积旋转证明	pp. 24–26
C MIMO for Mamba-3	具体张量投影与参数量匹配	p. 27
D Experimental Details	预训练与状态追踪协议	pp. 27–28
E Additional Experimental Results	长度外推、归一化、训练曲线、GDN 容量对照	pp. 28–29，Figs. 4–6，Table 9
F Architecture Ablations	BC 偏置初始化及作用	pp. 29–30，Table 10
G Inference Kernel Latency Analysis	kernel 后端、融合与计时条件	pp. 30–31，Tables 11–12

一：动机——线性复杂度之后还要优化什么

对于长度为 $T$ 的序列，标准注意力的完整序列交互计算随 $T^2$ 增长，KV cache 随 $T$ 增长；带 KV cache 的单步解码需要访问已有上下文，其注意力工作量随当前上下文长度增长。固定状态递归模型把历史压缩到有限状态中，单步状态更新的计算与存储不再随历史长度增长。

这种压缩有两类代价。第一，状态转移形式可能过于受限：Mamba-2 用一个正标量缩放整组状态，适合“记住或遗忘”，却缺少直接表达“翻转、循环”的算子。第二，有限状态无法像注意力一样随时重新访问任意历史 token，信息抽取尤其容易受损。

此外，低 FLOPs 不一定带来高硬件效率。SSM 解码要反复读写状态矩阵，却只做少量逐元素与外积运算；GPU 等待数据搬运时，计算单元可能闲置。Mamba-3 因而把设计目标设为：在给定状态读写成本下，尽可能提高一次更新的建模价值。（Secs. 1、3.3，PDF pp. 1–2、9）

二：方法——从递推式理解三个改动

2.1 基线、符号和完整数据流

先看单个标量输入通道。连续 SSM 为

$$ \dot{\mathbf h}(t)=\mathbf A(t)\mathbf h(t)+\mathbf B(t)x(t), \qquad y(t)=\mathbf C(t)^\top\mathbf h(t). $$

Mamba-2 将 $\mathbf A_t$ 限制为 $A_t I$，离散后得到

$$ \mathbf h_t=\alpha_t\mathbf h_{t-1}+\Delta_t\mathbf B_t x_t, \qquad \alpha_t=e^{\Delta_t A_t},\quad y_t=\mathbf C_t^\top\mathbf h_t. $$

这里 $A_t<0$、$\Delta_t>0$，因此 $0<\alpha_t<1$。较大的步长同时加快遗忘并放大新输入。在 Mamba-2 中 $A$ 本身不随 token 改变，转移通过 $\Delta_t$ 获得输入依赖性；Mamba-3 默认也让 $A_t$ 输入相关，作者称这项选择与输入无关的 $A$ 表现相近。（Sec. 2.2，PDF p. 3，Eq. (1)）

符号	含义 / 形状
$T,D$	序列长度、模型宽度
$N$	实数状态坐标数；复数表述中对应 $N/2$ 个复坐标
$P$	单个 head 的输入通道数
$\mathbf H_t\in\mathbb R^{N\times P}$	一个 head 的递归状态；由 $P$ 个标量通道合并而成
$\Delta_t,A_t,\lambda_t$	步长、实数衰减参数、两端点混合权重
$\boldsymbol\theta_t\in\mathbb R^{N/2}$	复数转移的虚部，决定每对坐标的旋转角
$R$	MIMO 分支数，主实验采用 $R=4$

Mamba-2 与 Mamba-3 模块结构

原文 Fig. 2，PDF p. 11。图从下往上读取：投影产生 SSM 输入和门控；Mamba-3 的 BCNorm 与旋转位于状态更新之前；黄色部分表示可选 MIMO 投影。

完整模型交替使用 Mamba-3 和 SwiGLU 模块，采用 pre-norm。Mamba-3 的 $\mathbf B,\mathbf C$ 投影先经过 RMSNorm，再加按 head、按通道学习的偏置，随后应用累积旋转。SSM 输出经过 SiLU 门控及输出投影。纯模型移除了 Mamba-2 的外部短卷积及其激活，也移除了原来的 post-gate RMSNorm；混合模型中是否恢复额外归一化，会显著影响长度外推。（Sec. 3.4，PDF pp. 11–12）

2.2 指数梯形离散化：让一次输入具有两次写入机会

先处理衰减，再近似输入积分。 对标量 $A(t)$，变常数法给出精确的一步解：

$$ \mathbf h(\tau_t)= e^{\int_{\tau_{t-1}}^{\tau_t}A(s)\,ds}\mathbf h(\tau_{t-1}) +\int_{\tau_{t-1}}^{\tau_t} e^{\int_\tau^{\tau_t}A(s)\,ds}\mathbf B(\tau)x(\tau)\,d\tau. $$

把区间内 $A(s)$ 近似为右端点 $A_t$ 后，还需要计算

$$ \int_{\tau_{t-1}}^{\tau_t} e^{(\tau_t-\tau)A_t}\mathbf B(\tau)x(\tau)\,d\tau. $$

如果用右端点矩形近似，该项变成 $\Delta_t\mathbf B_t x_t$，恢复 Mamba-1/2 实现中的递推，作者称为 exponential-Euler。它与冻结各参数、对区间积分精确计算的零阶保持结果 $\frac{e^{\Delta_t A_t}-1}{A_t}\mathbf B_t x_t$ 有区别；此处采用标量 $A_t$ 的写法。（Sec. 3.1.1，PDF pp. 5–6；App. A，p. 22）

如果对这个带指数权重的被积函数混合左右端点，就得到

$$ \boxed{ \mathbf h_t=\alpha_t\mathbf h_{t-1} +\beta_t\mathbf B_{t-1}x_{t-1} +\gamma_t\mathbf B_t x_t } $$

$$ \alpha_t=e^{\Delta_t A_t},\qquad \beta_t=(1-\lambda_t)\Delta_t\alpha_t,\qquad \gamma_t=\lambda_t\Delta_t. $$

$\lambda_t=\sigma(u_t)$ 由当前 token 的投影产生。取 $\lambda_t=1$ 恢复 exponential-Euler；取 $1/2$ 则等权平均变换后积分的两个端点。前一个端点需要乘上 $\alpha_t$，因为这部分输入还要经历当前区间的衰减。（Prop. 1，PDF p. 6，Eqs. (5)–(6)）

设 $\mathbf v_t=\mathbf B_t x_t$，先构造

$$ \mathbf u_t=\beta_t\mathbf v_{t-1}+\gamma_t\mathbf v_t, $$

再执行 $\mathbf h_t=\alpha_t\mathbf h_{t-1}+\mathbf u_t$。这相当于在状态输入上做输入相关的宽度 2 卷积。它作用于 $\mathbf B_t x_t$，与在原始 $x,\mathbf B,\mathbf C$ 上单独做短卷积的位置和计算都不同。

为说明“再次写入”，把前三步展开：

$$ \begin{aligned} \mathbf h_0&=\gamma_0\mathbf v_0,\\ \mathbf h_1&=(\alpha_1\gamma_0+\beta_1)\mathbf v_0+\gamma_1\mathbf v_1,\\ \mathbf h_2&=\alpha_2(\alpha_1\gamma_0+\beta_1)\mathbf v_0 +(\alpha_2\gamma_1+\beta_2)\mathbf v_1+\gamma_2\mathbf v_2. \end{aligned} $$

同一个 $\mathbf v_s$ 在到达时通过 $\gamma_s$ 写入，下一步还可通过 $\beta_{s+1}$ 补充。后续继续按衰减链传播。这是三项递推增加表达能力的直接方式。

指数梯形规则与结构化 mask

原文 Fig. 1，PDF p. 4。左侧是衰减矩阵乘以双带矩阵；右侧比较输入积分的端点矩形近似与梯形近似。

并行训练仍然成立。 状态空间对偶（SSD）把递推写成

$$ \mathbf Y=(\mathbf L\odot \mathbf C\mathbf B^\top)\mathbf X. $$

Mamba-3 的 $\mathbf L=\mathbf L_{\rm decay}\mathbf L_{\rm 2band}$，其中双带矩阵的主对角线是 $\gamma_t$，次对角线是 $\beta_t$。对 $t>s$，

$$ L_{ts}= \left(\prod_{k=s+2}^{t}\alpha_k\right) (\alpha_{s+1}\gamma_s+\beta_{s+1}), \qquad L_{tt}=\gamma_t. $$

这使训练可以继续用结构化分块矩阵乘法，解码则用单步递推。并行形式是计算同一个映射的另一种方式，不要求部署时存储完整 $T\times T$ 矩阵。（Sec. 3.1.3，PDF pp. 6–7，Eq. (7)；App. A.1，pp. 22–23）

二阶精度的准确范围。 原文的 $O(\Delta_t^3)$ 局部误差指上述状态输入积分的求积误差，需要平滑有界等假设以及 $\lambda_t=1/2+O(\Delta_t)$。将 $A(t)$ 冻结到右端点本身有 $O(\Delta_t^2)$ 局部误差；默认的 sigmoid 权重也没有强制满足该二阶条件。因此，实际模型的主要理由是更灵活的写入结构，不能直接把它概括为对任意时变系统都有二阶精度。附录消融中，自适应 $\lambda$、固定 $1/2$、固定 $1$ 的 perplexity 分别为 15.72、15.76、15.81。（Remark 3，PDF p. 6；App. A.2–A.3，pp. 23–24，Table 8）

2.3 复数状态转移：把“衰减”扩展为“衰减加旋转”

将连续转移参数改为 $\mathrm{Diag}(A(t)+i\boldsymbol\theta(t))$ 后，每个复数坐标的离散转移为

$$ e^{\Delta_t(A_t+i\theta_t)} =e^{\Delta_t A_t}\left[\cos(\Delta_t\theta_t)+i\sin(\Delta_t\theta_t)\right]. $$

实部与虚部组成二维实向量，就得到

$$ \mathbf h_t=\alpha_t\mathbf R_t\mathbf h_{t-1} +\Delta_t\mathbf B_t x_t,\qquad R(\phi)= \begin{bmatrix}\cos\phi&-\sin\phi\\ \sin\phi&\cos\phi\end{bmatrix}. $$

$\mathbf R_t$ 由 $N/2$ 个 $R(\Delta_t\theta_t[j])$ 沿对角线组成。$A_t$ 控制幅值，$\theta_t$ 控制方向变化。$N/2$ 个复数坐标用 $N$ 个实数存储，所以此处并不要求把同一 $N$ 配置下的存储再翻倍。输出取复数投影乘积的实部，原式使用转置而非共轭转置；转换为实坐标后，$\mathbf C$ 的虚部对应分量因此取负号。（Prop. 2，PDF pp. 7–8，Eqs. (8)–(9)；App. B.1，pp. 24–25）

教学例子：奇偶性。 从 $(1,0)$ 出发，输入 0 时保持，输入 1 时旋转 $\pi$，状态便在 $(1,0)$ 和 $(-1,0)$ 间切换。对输入 1, 0, 1, 1，状态依次表示奇、奇、偶、奇。这个理想化例子取无衰减、无额外写入，以单独展示转移算子的能力。

这里的限制应准确理解为 Mamba-2 的正标量转移。实际上 $R(\pi)=-I$ 具有负实特征值，也能做奇偶翻转，所以“任何实特征值都无法计算 parity”过强。论文比较的允许负特征值 GDN 也成功完成 parity；复数参数化提供的是更一般的输入相关旋转。（Sec. 3.2，PDF p. 7；Table 5b，p. 14；本段对特征值的说明为代数分析）

2.4 RoPE trick：旋转投影，避免逐步旋转整个状态矩阵

直接计算 $\mathbf R_t\mathbf H_{t-1}$ 会作用于 $N\times P$ 状态。作者把状态换到随时间旋转的坐标系中：

$$ \mathbf Q_t=\prod_{s=0}^{t}\mathbf R_s^\top,\qquad \widetilde{\mathbf h}_t=\mathbf Q_t\mathbf h_t,\qquad \overline{\mathbf B}_t=\mathbf Q_t\mathbf B_t,\quad \overline{\mathbf C}_t=\mathbf Q_t\mathbf C_t. $$

因为固定坐标配对上的二维旋转可交换，且标量 $\alpha_t$ 与旋转可交换，有 $\mathbf Q_t\mathbf R_t=\mathbf Q_{t-1}$，于是

$$ \widetilde{\mathbf h}_t =\alpha_t\widetilde{\mathbf h}_{t-1} +\Delta_t\overline{\mathbf B}_t x_t,\qquad y_t=\overline{\mathbf C}_t^\top\widetilde{\mathbf h}_t. $$

递推核心又只剩标量衰减，而旋转被吸收到 $\mathbf B,\mathbf C$ 上。每对坐标的旋转角等价于

$$ \phi_t[j]=\sum_{s=0}^{t}\Delta_s\theta_s[j],\qquad Q_t^{(j)}=R(-\phi_t[j]). $$

标准旋转位置嵌入（RoPE）按位置与固定频率决定角度；这里的角度累积的是输入相关的相位增量，因此能够随读到的符号改变状态。SSD 中 $\mathbf C,\mathbf B$ 分别对应 query、key，这也解释了为什么该等价形式表现为 Q/K 上的 RoPE。（Prop. 3，PDF p. 8，Eq. (10)；App. B.2，p. 25）

与梯形写入结合后的最终 SISO 递推为

$$ \boxed{ \widetilde{\mathbf h}_t =\alpha_t\widetilde{\mathbf h}_{t-1} +\beta_t\overline{\mathbf B}_{t-1}x_{t-1} +\gamma_t\overline{\mathbf B}_t x_t,\qquad y_t=\overline{\mathbf C}_t^\top\widetilde{\mathbf h}_t } $$

前一输入使用 $\mathbf Q_{t-1}$，当前输入与读出使用 $\mathbf Q_t$，不能把两个写入项都乘当前旋转。这对应原文 Eq. (11)；这里用 $\widetilde{\mathbf h}$ 明确区分变换前后的状态。（Prop. 4，PDF p. 8；App. B.3，p. 26）

2.5 MIMO：在同一个状态矩阵上增加读写分支

一个 head 的 SISO 实现把 $P$ 个通道合起来：

$$ \mathbf H_t=\alpha_t\mathbf H_{t-1} +\Delta_t\mathbf B_t\mathbf x_t^\top,\qquad \mathbf H_t\in\mathbb R^{N\times P}. $$

$\mathbf B_t\mathbf x_t^\top$ 是秩至多为 1 的外积。MIMO 将

$$ \mathbf B_t,\mathbf C_t\in\mathbb R^{N\times R},\qquad \mathbf X_t\in\mathbb R^{P\times R}, $$

从而以矩阵乘法 $\mathbf B_t\mathbf X_t^\top$ 写入，单次写入的秩最多为 $R$；以 $\mathbf Y_t=\mathbf H_t^\top\mathbf C_t\in\mathbb R^{P\times R}$ 读出。持久化的状态仍是 $N\times P$，没有新增长度为 $R$ 的状态轴。

合并前两项改动后，教学性统一表达为

$$ \widetilde{\mathbf H}_t =\alpha_t\widetilde{\mathbf H}_{t-1} +\beta_t\overline{\mathbf B}_{t-1}\mathbf X_{t-1}^\top +\gamma_t\overline{\mathbf B}_t\mathbf X_t^\top, \qquad \mathbf Y_t=\widetilde{\mathbf H}_t^\top\overline{\mathbf C}_t. $$

这里的横线表示对 $\mathbf B,\mathbf C$ 的各个分支使用相同累积旋转。原文 Sec. 3.3 先用两项递推解释 MIMO，再指出它可直接推广到三项递推；上式是将两部分合并后的写法。

为什么增加 FLOPs 仍可能很快？ SISO 的大块内存访问来自状态矩阵，工作量约为 $NP$；MIMO 写入和读出约为 $NPR$，但小 $R$ 下状态读写仍占主导。Table 2 的 2-byte 数据估算给出

$$ I_{\rm SISO}= \frac{5NP-P}{2(1+2N+P+NP)}\approx2.5, $$

$$ I_{\rm MIMO}= \frac{4NPR+NP-PR}{2(1+2NR+PR+NP)} =\Theta(R),\qquad R\ll N,P. $$

单位为 FLOP/byte。这个简化计数刻画的是算术强度的变化；实际时延还取决于状态回写、融合、额外投影及 kernel 实现。MIMO 的优势是能利用 tensor core 做小矩阵乘法，在带宽受限阶段增加有效计算。（Sec. 3.3，PDF p. 9，Table 2）

参数量控制。 若所有投影直接扩大 $R$ 倍，模型参数也会大幅增长。作者对共享的 $\mathbf B,\mathbf C$ 扩展投影，而每个 head 的输入、门控与输出采用低成本的通道缩放。例如先得到 $\mathbf x'_t=W_{X'}\mathbf U_t\in\mathbb R^P$，再令

$$ X_t[p,r]=W_X[p,r]\,x'_t[p]. $$

对应参数量从朴素的 $DPR$ 降为 $DP+PR$。输出先按分支门控，再用学习权重沿 $R$ 聚合，最后投回 $D$ 维。为了匹配总参数量，1.5B 模型的 MLP 中间宽度从 4096 降到 3824，减少约 6.6%。（Sec. 3.3，PDF pp. 10–11；App. C，p. 27）

训练计算的代价。 按输入、输出分支两两展开，朴素并行训练需要 $R^2$ 个 SISO 组合。分块算法可以缩短 chunk：设块长为 $C_{\rm chunk}$，在 $N=P$ 的分析条件下令

$$ C_{\rm chunk}R=N=P. $$

原本约 $8TN^2$ 的主导 FLOPs 变成约 $8TRN^2$，增长由二次降为线性。作者报告 $R=4$ 的 MIMO kernel 约有 2 倍训练速度代价，但这不是表 3 的训练计算量匹配实验，也不是端到端训练成本的完整测量。（Sec. 3.3，PDF p. 10）

2.6 BC 偏置为什么重要

对归一化后的 $\mathbf B,\mathbf C$ 同时加偏置，内积会出现输入相关项、交叉项与固定偏置内积。作者据此推测，偏置在选择性映射中保留了类似卷积的输入无关结构，再与状态输入上的两点混合共同承担原短卷积的作用。这个解释与组件消融相符，但“偏置诱导卷积行为”在本文中是机制假说。

两项偏置默认按 head、按通道学习，并初始化为全 1。附录显示只有 $\mathbf B$ 偏置并不能复现同时使用 $\mathbf B,\mathbf C$ 的收益，因而不能直接把其他 Mamba 变体的单边偏置结论套到本模型。（Sec. 3.4，PDF pp. 11–12；App. F，pp. 29–30）

三：实验——各组比较究竟控制了什么

论文有几组不同预算的实验，不能把它们当作同一次训练的不同统计。

实验	模型与预算	要检验的问题
语言建模与真实检索	180M、440M、880M、1.5B；各用 100B FineWeb-Edu tokens；2K 上下文	通用语言质量与检索能力
梯形、卷积、偏置消融	440M；约 20 倍参数量的 tokens，即约 8.8B	各组件是否有实际作用
状态容量扫描	440M；40 倍参数量的 tokens，即约 17.6B	固定参数预算下，状态容量如何换取质量
状态追踪合成任务	小型 1 层或 3 层模型；课程训练，测试长度 256	能否学习并外推状态变换
单步 kernel 时延	1.5B 配置；单张 H100；batch 128；FP32/BF16；$N=64,128$	新递推与 MIMO 的实际解码成本
Prefill + decode	单张 H100-SXM 80GB；输入 $L$，再生成 $L$ 个 token	完整推理路径的长度扩展成本

约 8.8B、17.6B 是按原文 token/parameter 比例与 440M 标称规模计算的值。主语言模型均使用 Llama-3.1 tokenizer、BF16；Mamba 系列 expansion factor 为 2，默认 $N=128$、$P=64$。GDN 使用 $q,k$ 维度 128、$v$ 维度 256。（Sec. 4，PDF pp. 12–15；Apps. D–G，pp. 27–31）

对照的角色也不同：Transformer 是可直接访问历史 KV 的质量与检索参照；Mamba-2 是同系列递推参照；GDN 是强线性递归基线。状态追踪表单独使用允许特征值范围 $[-1,1]$ 的 GDN 变体，不能把它的特殊设定默认为所有表中的 GDN 都相同。

指标。 困惑度（perplexity，ppl）越低越好；下游准确率越高越好。Table 3 的平均值由七个准确率列构成：LAMBADA、HellaSwag、PIQA、ARC-Easy、ARC-Challenge、WinoGrande、OpenBookQA；不把 ppl 列算进去。HellaSwag 与 ARC-Challenge 使用表中标注的 acc_n，其余使用 acc。合成状态追踪报告的是 scaled accuracy，应保留这一口径，不能把接近 0 的值解释成几乎没有答对任何原始样本。

四：结果——收益来自哪里，又在哪些任务上失效

4.1 语言建模：SISO 小幅改善，MIMO 带来进一步提升

下表抽取 Table 3 的 FineWeb-Edu ppl / 七任务平均准确率，数字保持原文精度。

模型	180M	440M	880M	1.5B
Transformer	16.89 / 42.8	13.03 / 49.6	11.42 / 52.8	10.51 / 55.4
GDN	16.52 / 43.2	13.01 / 49.7	11.37 / 53.7	10.45 / 55.8
Mamba-2	16.76 / 42.9	13.00 / 49.6	11.35 / 53.4	10.47 / 55.7
Mamba-3 SISO	16.59 / 43.4	12.87 / 49.8	11.23 / 54.4	10.35 / 56.4
Mamba-3 MIMO，$R=4$	16.46 / 43.5	12.72 / 51.0	11.11 / 55.3	10.24 / 57.6

来源：Table 3，PDF p. 12。每格左侧 ppl↓，右侧平均准确率 %↑；所有规模均用 100B tokens。

SISO 在四个规模上的平均准确率均高于所列基线，但差距在 180M、440M 很小。它也不是所有单项指标都最佳：180M 的 FineWeb-Edu ppl 为 16.59，略高于 GDN 的 16.52。

1.5B 的 MIMO 相对 SISO 将 ppl 从 10.35 降到 10.24，绝对降低 0.11；平均准确率增加 1.2 个百分点。相对 GDN 为 +1.8 个百分点，相对 Mamba-2 为 +1.9，相对 Transformer 为 +2.2。单项上，MIMO 的 ARC-Challenge 从 SISO 的 42.7 升到 44.5，LAMBADA accuracy 从 49.4 升到 51.7。参数量经过 MLP 缩减匹配，额外的 MIMO 计算则保留下来。

App. E 的 Fig. 5（PDF p. 29）显示 Mamba-3 MIMO 在训练过程中也保持较低验证 ppl，SISO 位于其后。这支持收益贯穿训练过程；图的横轴是训练步数，不能据此推导相同 GPU 时间下的优势。

4.2 检索：真实信息抽取仍是固定状态模型的弱项

真实任务都采用 cloze 形式，截断到训练匹配的 2K。以下选择四类具有代表性的结果：

1.5B 纯模型	SWDE	SQuAD	FDA	TriviaQA
Transformer	48.9	46.6	58.4	67.5
GDN	32.7	40.0	28.3	63.5
Mamba-2	30.7	39.1	23.7	64.3
Mamba-3 SISO	28.5	40.1	23.4	64.5
Mamba-3 MIMO	36.3	41.7	29.3	64.5

来源：Table 4，PDF p. 14；原文任务得分，越高越好。

SISO 在 SQuAD、TriviaQA 上有竞争力，SWDE 与 FDA 却略低于 Mamba-2；MIMO 改善这两项，但 FDA 的 29.3 仍远低于 Transformer 的 58.4。固定状态压缩历史的代价依然明显。其余两项中，SISO 的 NQ 为 26.5，高于 GDN 的 25.7；DROP 为 27.4，低于 Mamba-2 的 28.5，进一步表明收益具有任务差异。

合成“大海捞针”（NIAH）额外测试了 1K、2K、4K；其中 4K 超出了 2K 训练长度。下表仅比较 4K：

1.5B 纯模型	NIAH-Single-1	NIAH-Single-2	NIAH-Single-3
Transformer，标准 RoPE	0.0	0.0	0.0
GDN	99.8	49.8	34.2
Mamba-2	62.0	11.8	13.4
Mamba-3 SISO	88.2	50.6	34.2
Mamba-3 MIMO	93.0	40.4	25.6

来源：Table 4，PDF p. 14；原文得分，越高越好。

Mamba-3 SISO 在三类 4K 测试上都优于 Mamba-2，却没有整体超过 GDN。MIMO 在 Single-1 更好，在 Single-2/3 反而低于 SISO。Transformer 的 4K 崩溃发生在本实验的标准 RoPE 与长度外推设置中，作者也指出位置编码可能是原因；这组结果不能用于说明注意力在检索上普遍更弱，因为同一张表中它在 2K 真实检索和 NIAH 上很强。

4.3 混合架构：少量注意力改善检索，归一化决定外推取舍

混合模型按 5 个线性层 : 1 个 NoPE 自注意力层 交替训练。Mamba-3 SISO 混合模型的 SWDE、FDA 达到 58.5、65.9，明显高于纯 SISO 的 28.5、23.4。这说明保留部分可直接访问历史的注意力，能补足纯递归压缩的检索短板。（Sec. 4.1.2，PDF p. 13；Table 4，p. 14）

这里“无额外 norm”仍然保留 BCNorm。额外输出归一化的类型与门控前后位置会改变结果：

混合 Mamba-3 SISO	LM 平均	FDA，2K	NIAH-1，4K	NIAH-2，4K	NIAH-3，4K
无额外 norm	56.4	65.9	36.2	9.4	8.8
Post-gate default RMS	56.5	61.9	100.0	49.2	62.0
Pre-gate default RMS	55.9	67.3	86.2	97.8	90.2
Post-gate grouped RMS	56.2	56.8	79.4	65.8	9.6
Pre-gate grouped RMS	56.1	52.4	100.0	96.0	56.8

来源：Table 9，PDF p. 28；均为越高越好。Table 4 选择展示最后一种 norm。

门控前的 grouped RMSNorm 把三类 4K NIAH 从 36.2/9.4/8.8 提升到 100.0/96.0/56.8，同时 FDA 从 65.9 降到 52.4。附录的 pre-gate default RMS 在 NIAH-3 达到 90.2，又高于 grouped 版本。因此，原文强调的 grouped 配置应理解为一个有用选项，不能视为所有任务和长度下的最佳归一化。

4.4 组件消融：偏置与梯形写入可以替代外部短卷积

440M SISO 变体	ppl↓
去掉 BC bias 与 trapezoidal	16.68
只去掉 BC bias	16.49
完整 Mamba-3	15.72
完整 Mamba-3 加回短卷积	15.85

来源：Table 5a，PDF p. 14；该组为 Chinchilla 比例训练，不能与 100B-token 的 Table 3 直接拼接。

在无偏置模型上恢复梯形写入，ppl 降低 0.19；再恢复偏置，降低 0.77。完整模型加回短卷积没有获益。这支持在该配置下由偏置和新递推共同承担局部建模功能。Table 8 进一步保留其他组件、只把 $\lambda$ 固定为 1，得到 15.81，说明新递推在完整架构里也有独立收益。

偏置初始化与偏置位置是两组分开的附录消融：

BC 偏置初始化	是否学习	ppl↓
全 1	是	15.72
全 0	是	16.57
全 1	否	15.80
$\mathcal U(0,1)$	是	15.76
$\mathcal U(-1,1)$	是	16.07

使用 B bias	使用 C bias	ppl↓
否	否	16.52
是	否	16.68
否	是	15.98
是	是	15.69

来源：Table 10a–b，PDF p. 30。保留各自实验报告值，不将不同表中相近的配置数字混为一轮实验。

正初始化较稳定；仅 B 偏置略差，C 偏置更有帮助，两者共同使用最好。这也解释了为什么完整块设计应与递推公式一起理解。

4.5 状态追踪：关键是输入相关的相位

Parity 使用单层模型，模算术使用三层模型。训练长度下限为 3，上限按课程从 40 增至 160，最终在长度 256 评估；状态维度 64。每个课程运行 $10^4$ 步，batch 256；作者扫描 $d_{\rm model}\in\{32,64\}$ 与 8 个学习率，并报告最佳验证准确率对应结果。（App. D，PDF p. 28）

模型	Parity	无括号模算术	有括号模算术
Mamba-3	100.00	98.51	87.75
Mamba-3，标准 RoPE	1.56	20.70	2.62
Mamba-3，无 RoPE	2.27	1.49	0.72
Mamba-2	0.90	47.81	0.88
GDN，特征值范围 $[-1,1]$	100.00	99.25	93.50

来源：Table 5b，PDF p. 14；scaled accuracy，%，越高越好。

移除输入相关旋转、或改成标准位置 RoPE，都会大幅削弱 Mamba-3 的状态追踪。这个消融比单纯比较 Mamba-3 与 Mamba-2 更直接地支持旋转机制的作用：相位必须随内容而变。Mamba-3 在 parity 上满分，无括号模算术接近满分，但有括号任务仍落后于允许负特征值的 GDN。

原文部分文字将 Mamba-2 的失败概括为接近随机；表中它在无括号模算术达到 47.81 的 scaled accuracy，因此准确的表述是未能完整学会这组三项任务，而不是每项都等于随机水平。

4.6 容量与长度：更有效地使用状态，但容量仍不是时延

相对总状态规模与预训练困惑度

原文 Fig. 3，PDF p. 15。横轴为相对总状态规模，越小存储越少；纵轴为 ppl，越低越好。蓝、橙、绿分别是 Mamba-2、Mamba-3 SISO、MIMO。

这组 440M 模型用约 17.6B tokens 训练，扫描 $N=16,32,64,128$。Mamba-3 的曲线整体低于 Mamba-2，MIMO 进一步降低。作者强调 Mamba-3 可以用约一半状态规模达到相近或更好的 ppl。

半状态不等于已测得端到端时延减半。 横轴是状态规模代理；投影、门控、额外缓存、kernel 调度仍消耗时间。Table 6 的 BF16 数字中，Mamba-3 MIMO 的 $N=64$ 为 0.137 ms，而 Mamba-2 的 $N=128$ 为 0.203 ms；这是一组约 32.5% 的 kernel 时延下降，并非 50%。此外，该时延表采用 1.5B 配置，不能与 440M 容量扫描直接拼成严格的等质量实测点。（Sec. 4.3，PDF pp. 14–15；Table 6，p. 15）

包含 GDN 的状态容量比较

原文 Fig. 6，PDF p. 29。相对总状态规模与 ppl 的比较扩展到 GDN；MIMO 曲线仍较低。

GDN 使用 multi-head，Mamba 使用 multi-value 结构，因此相同 $d_{\rm state}$ 并不自动代表相同总状态容量。附录通过固定 GDN 的 $v_{\rm expand}=2$、调整 head 维度，再按相对总状态量画图，缓解这一比较问题。（App. E，PDF p. 29）

长度外推的语言建模表现

原文 Fig. 4，PDF p. 28。横轴为评估上下文长度，纵轴为 FineWeb-Edu 测试 ppl；虚线标出 2K 训练长度。蓝、橙、绿分别为 GDN、Mamba-2、Mamba-3。

从 2K 扩展到 32K 时，Mamba-3 的 ppl 持续下降，Mamba-2 在较长上下文处趋于平台。图上终点约为 Mamba-3 的 9.97、Mamba-2 的 10.17，此处为读图近似值。该结果说明纯语言建模能够从额外上下文获益；它与前述 NIAH、FDA 检索衡量的能力不同。

4.7 解码效率：BF16 优势明确，训练与 prefill 有代价

单步 kernel 测量使用单张 H100、batch 128、1.5B 配置、模型宽度 2048。单位是毫秒，越低越好：

模型	FP32，N=64	FP32，N=128	BF16，N=64	BF16，N=128
Mamba-2	0.295	0.409	0.127	0.203
GDN	0.344	0.423	0.176	0.257
Mamba-3 SISO	0.310	0.399	0.110	0.156
Mamba-3 MIMO	0.333	0.431	0.137	0.179

来源：Table 6，PDF p. 15。

BF16、$N=128$ 下，SISO 相对 Mamba-2 时延降低约 23.2%，MIMO 降低约 11.8%；MIMO 相对 SISO 增加约 14.7%。这些百分比由表中时延计算。FP32、$N=64$ 下最快的是 Mamba-2，故不能沿用正文“所有配置 SISO 都最快”的概括。

这也是“额外计算大体可以被带宽等待隐藏”的证据，而非任意硬件与 batch 下的零成本定律。基线使用作者公开的 Triton kernel；Mamba-3 解码使用 CuTe，并配合 Triton rotary，融合结构也有差异。测到的是架构与实现共同作用后的速度。（App. G.1，PDF pp. 30–31，Tables 11–12）

端到端表采用输入长度 $L$、再解码 $L$ 个 token 的协议；单位为秒，与上表不同：

模型	2K prefill	2K prefill+decode	4K prefill+decode	16K prefill+decode
vLLM，Llama-3.2-1B	1.08	20.37	58.64	976.50*
GDN，1.5B	2.01	18.22	36.41	145.87
Mamba-2，1.5B	2.02	18.62	37.22	149.02
Mamba-3 SISO，1.5B	2.02	17.57	35.11	140.61
Mamba-3 MIMO，1.5B	2.42	18.96	37.85	151.81

来源：Table 7，PDF p. 15；App. G.2，pp. 30–31。单张 H100-SXM 80GB，目标 batch 128，重复三次。星号为 batch 16 测量后乘 8 的估计值，原因是 batch 128 超出显存。

在 2K 时，MIMO 的 prefill 比 SISO 慢约 19.8%，完整 prefill+decode 慢约 7.9%；与 Mamba-2 的总时延接近。长序列下递归模型的总时延增长更缓。短输入的纯 prefill 则由优化过的 vLLM Transformer 更快。

这组 Transformer 基线是 1B，其余是 1.5B，且 16K Transformer 数据经过 batch 外推；因此它适合说明特定推理实现的扩展趋势，不是同模型规模、同训练质量下的直接架构速度倍数比较。递归模型在 16K 的输入输出张量过大时也采用分两段、传递状态的处理方式。

五：结论——这篇论文给出的设计启发

Mamba-3 展示了一条连贯的设计路线：通过离散化改变写入结构，通过输入相关旋转增强转移能力，再用 MIMO 把同一状态容量上的读写做得更丰富。三个部分都保留了递归推理与结构化并行训练之间的对应关系。

本文分析认为，最值得迁移到其他递归模型的有三点：

从状态输入而非仅从原始 token 考虑局部混合。 两点状态输入滤波与 BC 偏置共同替代短卷积，提示局部建模不必总由独立卷积层承担。
利用坐标变换保留表达能力。 复数动态能通过累积旋转投影实现，复杂的状态算子未必需要复杂的核心 kernel；成立条件是本文的标量衰减与固定二维旋转块结构。
把状态容量与每步计算量作为两个独立设计变量。 增大 $N$ 会增加持续的状态存储；增大 $R$ 则主要增加同一状态上的计算。后者在带宽受限的推理环境中可能更划算。

实际选型仍取决于任务：MIMO 在语言建模上更强，却不在所有 NIAH 任务上更好；信息抽取差距使混合注意力有明确价值；额外归一化又会改变混合模型的长度外推与真实检索折中。论文的质量实验最大为 1.5B、100B-token 预训练，因此其直接证据集中在这一规模与设置。

进一步研究最有针对性的方向，是把 $N$、$R$、训练计算量与实际端到端时延一起扫描，确定不同部署场景的等质量最优点；以及解释为什么同一额外 RMSNorm 会同时改善部分长度外推任务、削弱部分真实信息抽取任务。

原文第 5 节将这套设计与线性注意力、test-time regression 区分为不同的启发视角。比较合理的理解是：SSM 的连续动力学表示让这些改动更自然地出现；其中 MIMO 的硬件动机并不局限于 SSM，作者也明确提出可将其推广到其他现代递归模型。（Secs. 5–6，PDF pp. 16–18）