# FRAC：Fractional State Space Transition for Long Sequence Modeling

作者：Ivan Kobyzev、Abbas Ghaddar、Ali Nasiri-Sarvi、Lifeng Shang、Yufei Cui；Huawei Noah’s Ark Lab，Montreal Research Center。前两位作者为共同一作。

论文版本：**arXiv:2609.36314v1**，提交于 2026-09-28。获取与研读日期：2026-10-07。

[arXiv 页面](https://arxiv.org/abs/2609.36314v1) · [本地原文 PDF](../source/paper.pdf) · [英文汇报 PDF](slides.en.pdf) · [可编辑幻灯片](slides.en.tex)。下文页码均指从 1 开始的 PDF 页码，与本文印刷页码一致。

## 论文总览

FRAC 研究一个具体问题：**在推理时只能保存固定大小状态的条件下，怎样让遥远历史的影响衰减得更慢？** 作者从分数阶微分方程出发，把具有幂律尾部的记忆核近似成一组跨越多个数量级的指数模式，再加入逐 token 的时间控制和读写路由，得到可并行扫描、可逐步解码的状态空间模型（State Space Model，SSM）。

最值得记住的机制是：每个模式仍按指数衰减，但一组恰当分布、加权的快慢模式，可以在目标时间范围内表现出近似幂律记忆。实际 FRAC 采用 16 个固定几何间隔的时间尺度，并通过输入控制保留率及读写权重。它把“记忆怎样随距离消退”作为架构设计变量。

主要证据来自三组设置：约 200K 参数模型从 512 长度训练外推至 128K；1.3B 参数语言模型用 100B tokens、4K 序列预训练后测试长上下文；约 7M 参数模型在 DNA 序列上比较不同训练长度。1.3B 实验中，FRAC 的 LongBench 平均分为 **17.9**，Gated DeltaNet（GDN）为 **16.0**；短上下文 LM Harness 平均准确率为 **55.1**，接近 Transformer 与 Mamba3-MIMO 的 **55.3**。但代码补全和截断至 2K 的真实检索并不占优，解码速度也没有超过所有基线。（Sec. 4，pp. 6–9；Appendix F，p. 25。）

理论与模型之间有一个必须保留的区别：固定参数系统的精确零阶保持离散化给出写入系数 $(1-\rho)/\lambda$，**论文全部实验采用的却是 $1-\rho$**。作者在 Appendix D 明确将其作为改善稳定性的建模选择。因此，完整 FRAC 应理解为由分数阶理论指导的选择性架构，而非任意变系数分数阶方程的精确求解器。

## 结构地图

| 原文章节 | 作用 | PDF 页码与关键内容 |
| --- | --- | --- |
| 1 Introduction | 从固定状态压缩引出记忆衰减规律 | pp. 1–2 |
| 2 Preliminaries | Caputo 导数、Mittag–Leffler 核、连续指数混合与有限近似 | pp. 2–4；Eqs. (1)–(12)，Theorems 1–2 |
| 3 Method | 模式库、离散递推、选择性读写、完整网络层 | pp. 4–6；Proposition 3，Eqs. (13)–(24)，Fig. 1 |
| 4.1 Synthetic Benchmarks | 重尾外推与 MADLab 能力探针 | pp. 6–7；Fig. 2，Table 1 |
| 4.2 Language Modeling | NIAH、LongBench、短上下文与真实检索 | pp. 7–8；Fig. 3，Tables 2–4 |
| 4.3 DNA modeling | 长训练上下文是否改善基因序列建模 | p. 9；Fig. 4 |
| 5 Related Work / 6 Conclusion | 与选择性 SSM、关联记忆及分数阶方法的关系 | pp. 9–10 |
| A Discussion of Theorem 1 | 两种记忆核的谱密度与尺度变换 | p. 17；Eqs. (25)–(27) |
| B Proof of Theorem 2 | 截断、对数网格求积与不同误差范数 | pp. 17–19 |
| C Proof of Proposition 3 | 从核误差推到状态轨迹误差 | pp. 20–21 |
| D Frac State Transition Algorithm | 实际算法及其相对精确 ZOH 的改动 | p. 21；Algorithm 1，Remarks 7–8 |
| E Experimental Setting | 数据、模型配置、评价协议 | pp. 21–25；Tables 5–7 |
| F FracMixer Efficient Implementation | Triton 实现、吞吐及数值稳定性 | pp. 25–26；Table 8 |
| G FRAC Ablation | 架构消融与有限模式逼近质量 | pp. 26–27；Tables 9–10 |
| H Limitations and Broader Impact | 时间尺度覆盖、模式成本及扩展方向 | pp. 27–28 |

## 一：动机——固定状态还需要选择合适的遗忘规律

自回归注意力可以保留随上下文增长的 KV 缓存，而递归 SSM 把过去压缩进固定维度状态。后者节省历史存储，但也必须决定：哪些信息在每一步被保留，保留多久，如何被新输入覆盖。

以最简单的一阶系统为例：

$$
\dot h(t)=-\lambda h(t)+u(t),\qquad \lambda>0.
$$

没有新输入时，初始状态的影响按 $e^{-\lambda t}$ 消退，特征时间尺度为 $\lambda^{-1}$。一个很慢的指数模式能保存较远历史，却难以同时覆盖跨度悬殊的依赖。已有 SSM 可以组合多个模式、学习门控；FRAC 的主张是进一步用分数阶理论约束模式的时间尺度分布和权重，使它们形成重尾记忆先验。（Sec. 1–2.2，pp. 1–2。）

这与几类相关思路的关系是：Mamba 系列强化输入选择性与离散状态更新；GDN 强化关联记忆的更新与过滤；Mixture-of-Memories 增加可路由的记忆容量；FRAC 重点设计随时间衰减的形状。FRAC 的多个 mode 是对时间尺度积分的离散化节点，与 Mamba3 的多输入多输出（MIMO）秩不是同一种含义。作者认为，分数阶记忆可以进一步与 delta rule 结合，但本文未实现这种组合。（Sec. 5–6，pp. 9–10。）

## 二：方法——从分数阶记忆到可扫描的递推

### 2.1 用非局部导数描述历史依赖

对 $0<\alpha<1$，Caputo 分数阶导数定义为：

$$
{}^{C}D_t^\alpha f(t)
=\frac{1}{\Gamma(1-\alpha)}\int_0^t
\frac{f'(\xi)}{(t-\xi)^\alpha}\,d\xi.
$$

它在时刻 $t$ 汇总整个过去的变化量 $f'(\xi)$，权重随时间距离呈代数衰减。论文的起点是分数阶松弛方程：

$$
{}^{C}D_t^\alpha h(t)=-\lambda h(t)+u(t).
$$

这里 $h(t)$ 是状态，$u(t)$ 是外部输入，$\alpha$ 是分数阶阶数，$\lambda$ 控制松弛尺度，$\Gamma$ 为 Gamma 函数。$\alpha=1$ 时对应普通一阶系统；$0<\alpha<1$ 时，导数本身依赖历史。直接离散它通常需要保存历史轨迹，因此还不能直接成为固定状态的神经网络层。（Sec. 2.2，p. 2，Eqs. (1)–(3)。）

### 2.2 必须区分两种核：初始状态与过去输入

Mittag–Leffler 函数推广了指数函数：

$$
E_{\alpha,\beta}(z)=\sum_{k=0}^{\infty}\frac{z^k}{\Gamma(\alpha k+\beta)},
\qquad E_\alpha(z)=E_{\alpha,1}(z).
$$

固定 $\alpha,\lambda$ 的分数阶系统有解：

$$
h(t)=E_\alpha(-\lambda t^\alpha)h(0)
+\int_0^t g_{\alpha,\lambda}(t-\xi)u(\xi)\,d\xi,
$$

$$
g_{\alpha,\lambda}(t)=t^{\alpha-1}E_{\alpha,\alpha}(-\lambda t^\alpha).
$$

第一项描述初始状态的松弛，第二项描述输入的冲激响应。两者都具有多项式尾部，但尾指数不同：

$$
E_\alpha(-\lambda t^\alpha)\sim
\frac{t^{-\alpha}}{\lambda\Gamma(1-\alpha)},
\qquad
g_{\alpha,\lambda}(t)\sim
\frac{\alpha\,t^{-\alpha-1}}{\lambda^2\Gamma(1-\alpha)}.
$$

因此，“记忆按 $t^{-\alpha}$ 衰减”准确对应齐次松弛核；不能将同一个指数直接套到输入冲激响应上。这些渐近形式描述大 $t$ 行为，Mittag–Leffler 核并非在所有时间上都是纯幂律。（Sec. 2.3，p. 3，Eqs. (4)–(8)。）

### 2.3 连续指数混合把非局部记忆变成一组局部动态

Theorem 1 给出非负扩散表示：

$$
E_\alpha(-\lambda t^\alpha)
=\int_0^\infty e^{-t/\tau}R_{\alpha,\lambda}(\tau)\,d\tau,
\qquad
g_{\alpha,\lambda}(t)
=\int_0^\infty e^{-t/\tau}H_{\alpha,\lambda}(\tau)\,d\tau.
$$

这里 $\tau$ 是指数模式的时间尺度，大 $\tau$ 对应慢遗忘。Appendix A 给出：

$$
R_{\alpha,\lambda}(\tau)=
\frac{\lambda\tau^{\alpha-1}\sin(\pi\alpha)}
{\pi\left(\lambda^2\tau^{2\alpha}+2\lambda\tau^\alpha\cos(\pi\alpha)+1\right)},
\qquad
H_{\alpha,\lambda}(\tau)=\frac{R_{\alpha,\lambda}(\tau)}{\lambda\tau}.
$$

这一表示的价值在于：幂律尾部可以由快慢不同的指数衰减共同构成，每个指数模式都可用一阶 ODE 独立维护；困难从保存全部历史转为近似时间尺度积分。（Sec. 2.4，pp. 3–4；Appendix A，p. 17。）

### 2.4 有限指数和：误差保证在哪个范围成立

Theorem 2 在固定 $0<\alpha<1$、$\lambda>0$ 和有限区间 $[0,T]$ 上，将两种核近似到同一组几何网格：

$$
\tau_m=\tau_0q^{m-1},\qquad q>1,\qquad m=1,\ldots,M.
$$

对任意 $\varepsilon>0$，存在足够的模式数与正系数 $c_m,d_m$，使：

$$
\sup_{t\in[0,T]}\left|E_\alpha(-\lambda t^\alpha)-\sum_m c_me^{-t/\tau_m}\right|
\le\varepsilon,
$$

$$
\int_0^T\left|g_{\alpha,\lambda}(t)-\sum_m d_me^{-t/\tau_m}\right|dt
\le\varepsilon,
\qquad \frac{d_m}{c_m}=\frac{1}{\lambda\tau_m}.
$$

第二个保证采用 $L^1$ 误差，是因为 $g(t)$ 在 $t\to0^+$ 时具有可积奇点，而任何有限指数和在零点均有界，无法在包含零点的区间上一致逼近该冲激核。

证明的关键步骤是先截去极快和极慢模式中足够小的尾部质量，再令 $x=\log\tau$，用中点求积离散剩余积分。若对数步长为 $h=\log q$，便得到：

$$
c_m=h\tau_mR_{\alpha,\lambda}(\tau_m),\qquad
d_m=h\tau_mH_{\alpha,\lambda}(\tau_m).
$$

其中的 $\tau_m$ 来自变量替换 $d\tau=e^x dx$。这也解释了为什么在大时间尺度端，离散权重满足 $c_m\propto\tau_m^{-\alpha}$，而不是密度本身的 $\tau^{-\alpha-1}$。（Sec. 2.5，p. 4，Eqs. (10)–(12)；Appendix B，pp. 17–19。）

这个定理给出存在性和误差形式，没有为本文具体的 16 个模式证明统一精度或明确的模式数上界。实际网格与模式数还依赖后面的消融和数值拟合实验。

### 2.5 用有限个状态实现近似系统

Proposition 3 构造：

$$
\dot s_m(t)=-\frac{s_m(t)}{\tau_m}+\frac{u(t)}{\lambda\tau_m},
\qquad s_m(0)=h(0),\qquad
\tilde h_M(t)=\sum_m c_ms_m(t).
$$

每个 $s_m$ 只需保存当前值。将其显式解代入读出，齐次部分得到 $\sum c_me^{-t/\tau_m}$，输入部分得到 $\sum d_me^{-t/\tau_m}$，恰好对应上面的两种核近似。对有界输入，状态误差满足：

$$
\sup_{t\in[0,T]}|h(t)-\tilde h_M(t)|
\le\varepsilon\bigl(|h(0)|+\|u\|_{L^\infty([0,T])}\bigr).
$$

证明分别控制初始状态项与输入卷积项；后者用输入上界乘以核的 $L^1$ 误差。这是从“核能够近似”走到“状态轨迹能够近似”的连接。（Sec. 3.1，pp. 4–5，Eqs. (13)–(16)；Appendix C，pp. 20–21。）

### 2.6 精确 ZOH、选择性控制与实际写入系数

零阶保持（Zero-Order Hold，ZOH）在单个时间段内固定输入和控制量。对上述模式积分，可得：

$$
s_{t,m}=\rho_{t,m}s_{t-1,m}+\beta_{t,m}u_t,
\qquad
\rho_{t,m}=e^{-\Delta_t/\tau_m},\qquad
\beta_{t,m}=\frac{1-\rho_{t,m}}{\lambda}.
$$

利用分数阶核对 $\lambda$ 的自相似性，FRAC 保留共享的基础网格，使用有效时间尺度：

$$
\tilde\tau_{t,m}=\frac{\tau_m}{\lambda_t^{1/\alpha_t}},
\qquad
\tilde\rho_{t,m}=\exp\!\left(-\frac{\Delta_t\lambda_t^{1/\alpha_t}}{\tau_m}\right).
$$

$\Delta_t\lambda_t^{1/\alpha_t}$ 可以理解为当前 token 推动内部时钟前进的距离；它越大，所有模式在这一步遗忘得越多。$\alpha_t$ 还会影响读写先验，所以它并非一个独立的“记忆长度旋钮”。（Sec. 3.2，p. 5，Eqs. (17)–(20)。）

两种写入系数需要分别列出：

| 形式 | 写入系数 | 对应范围 |
| --- | --- | --- |
| 正文精确 ZOH 推导 | $\tilde\beta_{t,m}=(1-\tilde\rho_{t,m})/\lambda_t$ | 固定系统的模式 ODE 离散化 |
| Algorithm 1 及全部实验 | $\tilde\beta_{t,m}=1-\tilde\rho_{t,m}$ | 论文实际训练的选择性 FRAC |

作者明确说明，去掉除以 $\lambda_t$ 的振幅因子，是为了让时间尺度控制与显式写入振幅缩放分离，并改善训练稳定性。$\lambda$ 为常数时，可通过状态和读出常数缩放关联两种形式；逐 token 变化的 $\lambda_t$ 不具备这种简单等价性。（Appendix D，p. 21，Remark 7。）

### 2.7 读写路由：重尾先验加内容残差

FRAC 对每个 token 分别生成读权重和写权重：

$$
c_{t,m}=\operatorname{softmax}_m\left(-\alpha_t\log\tau_m+g_{\rm read}(u_t)_m\right),
$$

$$
b_{t,m}=\operatorname{softmax}_m\left(-\alpha_t\log\tau_m+g_{\rm write}(u_t)_m\right).
$$

忽略内容残差时，权重与 $\tau_m^{-\alpha_t}$ 成正比，呼应有限求积系数的大时间尺度渐近式。较小 $\alpha_t$ 使这一分布更平坦，给慢模式相对更多的权重。内容残差则允许当前输入偏离默认分布，将不同信息写入或读出不同模式。两条路径使用独立投影；附录实现为 $g(u)=\sigma(p)Wu$，其中 $p$ 是可学习标量门。

读先验有渐近理论依据，写先验采用相同形式是经验设计，理论没有唯一规定它。softmax 还引入非负、和为一的规范化约束；这些学习权重也不是 Theorem 2 的精确求积系数。（Sec. 3.2，p. 6，Eq. (23)；Appendix D，p. 21。）

实际实验中的核心递推为：

$$
\boxed{
s_{t,m}=\tilde\rho_{t,m}s_{t-1,m}
+(1-\tilde\rho_{t,m})b_{t,m}u_t,
\qquad h_t=\sum_m c_{t,m}s_{t,m}.
}
$$

这里 mode 维度上共享同一 head 的内容向量，逐 mode 的标量保留率和路由权重作用在该向量的所有坐标上。多头形式的主要张量是：

| 符号 | 形状，不含 batch | 含义 |
| --- | --- | --- |
| $u_t$ | $H\times d_h$ | 局部卷积后的内容向量 |
| $\Delta_t,\alpha_t,\lambda_t$ | $H$ | 每个 head 的时间控制量 |
| $\tau$ | $M$ | 全部 head 使用的基础时间尺度网格 |
| $b_t,c_t,\tilde\rho_t$ | $H\times M$ | 写路由、读路由和模式保留率 |
| $S_t$ | $H\times M\times d_h$ | 解码时缓存的主要递归状态 |

教学例子：若有效步长为 1，三个模式的 $\tau$ 分别取 $1,16,256$，单步保留率约为 $0.368,0.939,0.996$。64 步后，单纯历史保留因子约为 $1.6\times10^{-28},0.018,0.779$。快模式反映近期变化，慢模式留下远处影响；读写权重决定这些影响对当前输出有多大贡献。该例只解释递推，不是论文实验。

### 2.8 完整层如何生成这些量

![FRAC 层及 FracMixer 结构](figures/fig-01-architecture.png)

原文 Fig. 1，p. 6。图中信息自下向上流动：左侧为完整层，右侧展开 FracMixer。

输入经 RMSNorm 和线性投影后进入两类分支。控制分支从卷积前的表示生成 $\Delta_t,\alpha_t,\lambda_t$，分别经 softplus、sigmoid、softplus 约束取值；内容分支经局部深度可分离因果 Conv1D 和图中所示的 SiLU 得到 $u_t$。状态模块读出后与直接通路 $Du_t$ 相加，再经外部的门控归一化、输出投影及残差路径形成层输出。

语言模型采用 $M=16$，基础时间尺度在 $[1,2^{17}]$ 上几何分布。$\Delta$ 裁剪至 $[10^{-4},1]$，$\lambda$ 裁剪至 $[0.25,4]$。时间尺度上限选择时考虑了最长 64K 的语言模型外推评测；真实遗忘距离还取决于累计内部步长，不能把 $\tau$ 无条件等同于 token 数。（Sec. 3.3，p. 6；Appendix E.3，p. 23。）

### 2.9 为什么能并行训练并保持固定解码状态

对一个 head、一个特征坐标，模式状态满足一阶仿射递推：

$$
\mathbf s_t=\Lambda_t\mathbf s_{t-1}+\mathbf v_t,
\qquad \Lambda_t=\operatorname{Diag}(\tilde\rho_{t,1},\ldots,\tilde\rho_{t,M}).
$$

其中 $\mathbf v_t$ 是本步写入向量。两个仿射变换的复合为 $(\Lambda_2\Lambda_1,\Lambda_2\mathbf v_1+\mathbf v_2)$，复合具有结合律，因此可以做并行扫描。训练与 prefill 采用分块计算，解码只更新缓存中的 $S_t$。按直接递推计，序列长度 $L$ 下状态更新工作量为 $O(LHMd_h)$，单层解码状态为 $O(HMd_h)$；训练激活存储不能据此称为与长度无关。

将零初始状态下的递推展开，可得到一个有助于理解的有效历史权重（本次教学推导）：

$$
h_t=\sum_{k\le t}K_{t,k}u_k,
\quad
K_{t,k}=\sum_m c_{t,m}(1-\tilde\rho_{k,m})b_{k,m}
\prod_{j=k+1}^{t}\tilde\rho_{j,m}.
$$

这显示当前读权重、当时写权重，以及中间所有 token 的时间控制共同决定历史影响。完整模型一般不是只依赖距离 $t-k$ 的固定卷积核。

实现中，为避免两个很小的累计指数相除，作者直接计算累计对数衰减之差：

$$
\Gamma_{t,k}=\sum_m c_{t,m}\kappa_{k,m}
\exp(\ell_{t,m}-\ell_{k,m}),\qquad
\ell_{t,m}=\sum_{j=t_{\rm start}}^t\log\tilde\rho_{j,m}.
$$

Triton kernel 分别承担参数融合、块内构造、跨块状态传递和输出混合。模式归约维度仅为 16，作者采用单层分块。（Sec. 3.2，p. 6，Eq. (24)；Appendix F，pp. 25–26。）

## 三：实验——分别检验衰减先验、语言能力和计算成本

### 3.1 基线与主实验配置

Mamba2 是成熟的选择性 SSM 对照；Mamba3-SISO 与 Mamba3-MIMO 检验更强离散化和表达能力；GDN 检验带遗忘门的 delta-rule 关联更新；Transformer 检验直接访问上下文的自注意力模型。在约 200K/500K 参数实验中，Mamba3 只使用 SISO，因为作者的 MIMO 实现不支持匹配所需的小 hidden size。

1.3B 主实验统一使用从去重 FineWeb-Edu 抽取的 100B tokens、Llama-2 的 32K 词表、完全打包的 4K 序列。hidden size 为 2048、head 数为 16；通过层数和架构配置使参数量接近：FRAC、Mamba2、Mamba3-SISO 为 48 层，Mamba3-MIMO 为 44 层，GDN 为 22 层，Transformer 为 26 层。Transformer 使用 Qwen3 架构实现。

训练使用 AdamW，学习率 $6\times10^{-4}$、10% warm-up、weight decay 0.1、全局 batch 1M tokens，配合 FSDP 和混合精度。硬件为两台各 8 张 80GB 加速卡的节点；论文未明确卡的具体型号，因此速度数字应与该实现和硬件条件一起理解。（Appendix E.3，pp. 23–24。）

### 3.2 各项实验在回答什么

| 实验 | 设置与指标 | 检验问题 |
| --- | --- | --- |
| Heavy-tail probe | 单层约 200K 参数；512 训练，512–128K 测试；准确率越高越好，10 次运行的均值±标准差 | 是否能把重尾聚合规律外推到更长输入 |
| MADLab | 约 500K 参数；两层序列混合与两层 SwiGLU 交替；5 seeds，任务准确率 | 引入该记忆先验是否保留压缩、模糊召回、记忆与选择复制能力 |
| NIAH | 1.3B 模型；4K 训练后在 1K–64K 检索 passkey、数字或 UUID；准确率 | 超出训练长度后，单个目标信息是否仍可取回 |
| LongBench v1 | 14 项任务；QA 的 F1、摘要的 ROUGE、TREC 准确率、代码的编辑相似度，均越高越好 | 长文档理解和生成是否受益 |
| LM Harness | 两项困惑度及八项准确率；平均分只计算八项准确率 | 短上下文能力有无明显代价 |
| Recall-Retrieval | 六项真实检索任务，cloze-completion 格式，全部截断至 2K | 短上下文的真实信息提取能力 |
| DNA | HG38，约 7M 参数；各自在 1K–64K 长度训练并以同长度测试；困惑度越低越好 | 增加训练上下文是否改善序列建模 |
| 架构消融 | 390M 参数、30B tokens、4K 训练；16K 文档困惑度 | 哪些结构选择贡献性能 |

MADLab 在每个任务和模型上搜索学习率、weight decay，再按五个 seed 的平均官方分数选择配置；该数字应按这一调参协议解读。普通 ICR 与 noisy ICR 在各模型上饱和，正文只呈现另外四项。（Appendix E.2，pp. 22–23。）

## 四：结果——长距离收益明显，但取决于任务

### 4.1 Heavy-tail probe：最直接地验证归纳偏置

序列包含背景 token 和稀疏 $\pm1$ 事件，事件间距服从截断 Zipf 分布。分类标签由历史事件的重尾加权和之符号决定：

$$
\operatorname{sign}\!\left(\sum_k\frac{v_k}{(L-k)^{0.1}}\right).
$$

原文附录先说明标签取符号，随后公式列出未取符号的和；上式将两者合并表达。很小的尾指数 $0.1$ 使远处事件仍有明显权重，因而直接针对论文希望引入的记忆规律。

![重尾合成任务的长度外推](figures/fig-02-heavy-tail.png)

原文 Fig. 2，p. 7。横轴为测试长度，纵轴为准确率；所有模型只在长度 512 上训练。长上下文的精确数值来自 Table 6（p. 22），下表选取四个长度，单位为百分数，± 为 10 次运行的标准差。

| 模型 | 512 | 8K | 64K | 128K |
| --- | ---: | ---: | ---: | ---: |
| Attention | 97.6±0.8 | 50.5±3.3 | 48.6±1.7 | 50.0±3.7 |
| Mamba2 | 82.7±2.9 | 60.9±4.5 | 57.9±3.2 | 51.3±4.3 |
| Mamba3-SISO | 98.6±0.7 | 71.3±7.5 | 63.2±4.4 | 55.6±3.8 |
| GDN | 98.5±0.6 | 78.7±3.4 | 65.8±2.5 | 58.4±3.8 |
| **FRAC** | 96.5±2.5 | **85.6±3.0** | **70.6±2.0** | **63.8±1.9** |

FRAC 在训练长度上并非最好，但从 8K 开始领先所有对照。128K 时相对 GDN 高 **5.4 个百分点**，相对 Attention 高 13.8 个百分点。这个结果支持：合适的衰减结构能够提高对重尾聚合规律的长度泛化。任务本身按幂律设计，因此自然语言实验仍是检验收益是否超出该合成设定的关键。

MADLab 的结果较温和：FRAC 四项平均准确率 75.4，Mamba3-SISO 74.8，GDN 74.3，Mamba2 73.8。FRAC 的压缩和模糊召回为 $90.4\pm0.2$、$11.5\pm0.2$；Mamba3-SISO 为 $89.1\pm0.2$、$10.1\pm0.4$。记忆与选择复制均接近 100%。所以平均优势主要来自压缩和模糊召回，后者的绝对准确率仍低。（Table 1，p. 7。）

### 4.2 NIAH：延缓外推退化，仍有很长距离的失败

![三个 NIAH 检索任务](figures/fig-03-niah.png)

原文 Fig. 3，p. 8。三个面板的横轴均为 1K–64K 测试长度，纵轴均为准确率。蓝色为 FRAC，绿色为 GDN；其他曲线依图例区分。S-NIAH-1 在重复填充文本中检索 passkey，S-NIAH-2 在自然文本干扰中检索数字，S-NIAH-3 检索 UUID。（任务定义见 Appendix E.3，p. 24。）

4K 以内各模型相近；超过训练长度后，FRAC 的下降通常更慢，尤其在 S-NIAH-2 的 8K–16K、S-NIAH-3 的 8K–16K 区间。重复填充任务对 GDN 的过滤机制也很有利，论文明确将其列为相对趋势的例外。

但“表现更好”与“64K 稳定检索”有实质差别：图中 FRAC 在 64K 的 S-NIAH-2、S-NIAH-3 也已落至约一成或以下。重尾状态能延缓信息消退，未消除固定状态检索的困难。原图说明 Transformer 在 4K 之后得分为零，这是本文 4K 预训练基线及其评测协议下的外推结果。（Sec. 4.2，pp. 7–8。）

### 4.3 LongBench：平均最优，代码补全明显落后

14 项任务的平均分如下，均为越高越好：

| 模型 | LongBench 平均分 |
| --- | ---: |
| Transformer | 14.7 |
| Mamba2 | 12.0 |
| GDN | 16.0 |
| Mamba3-SISO | 14.4 |
| Mamba3-MIMO | 11.4 |
| **FRAC** | **17.9** |

来源：Table 2，p. 8。按论文报告的一位小数，FRAC 相对最强线性基线 GDN 提高 **1.9 分**，相对提升约 **11.9%**；正文写作“1.9%”，更准确的表述应区分分数差和相对百分比。

以下按原文五类任务列出 FRAC 与 GDN 的逐项对照。这是任务分数，QA 使用 F1，摘要使用 ROUGE，TREC 使用准确率，代码使用编辑相似度；因此整套平均分不是统一的“准确率”。

| 类别 | 任务 | FRAC | GDN | FRAC−GDN |
| --- | --- | ---: | ---: | ---: |
| 单文档 QA | NarrativeQA | **13.2** | 11.5 | +1.7 |
| 单文档 QA | Qasper | **14.0** | 10.1 | +3.9 |
| 单文档 QA | MultiFieldQA-en | **25.8** | 24.4 | +1.4 |
| 多文档 QA | HotpotQA | **8.5** | 7.3 | +1.2 |
| 多文档 QA | 2WikiMQA | 12.2 | 14.8 | −2.6 |
| 多文档 QA | MuSiQue | 5.1 | 4.8 | +0.3 |
| 摘要 | GovReport | **13.8** | 7.9 | +5.9 |
| 摘要 | QMSum | 18.9 | 18.9 | 0.0 |
| 摘要 | MultiNews | **16.3** | 14.3 | +2.0 |
| 少样本 | TREC | 39.0 | 40.0 | −1.0 |
| 少样本 | TriviaQA | **24.5** | 21.6 | +2.9 |
| 少样本 | SAMSum | **28.2** | 13.2 | +15.0 |
| 代码 | LCC | 11.0 | 18.7 | −7.7 |
| 代码 | RepoBench-P | 19.5 | 16.9 | +2.6 |

粗体表示 FRAC 在全部六个模型中为该任务最优，共 8/14 项。优势较明显的项目包括 GovReport 与 SAMSum；但 LCC 的 FRAC 得分只有 11.0，Transformer 为 26.0，Mamba2 为 23.4。RepoBench-P 的最高分也来自 Mamba2（26.5），FRAC 为 19.5。

这说明持久记忆与精确代码延续并不自动同时改善。数据长度也能解释为何结果比纯 NIAH 更复杂：14 项任务中有 8 项的平均输入长度低于 8K，LCC 平均仅 1,235 tokens；NarrativeQA 平均为 18,405 tokens。LongBench 混合了长距离信息利用、局部建模和不同生成能力。（Table 7，p. 24。）

### 4.4 短上下文：保持竞争力，但真实检索排第三

| 模型 | Wiki. 困惑度↓ | LAMBADA 困惑度↓ | LM Harness 平均准确率↑ | 2K Recall-Retrieval 平均分↑ |
| --- | ---: | ---: | ---: | ---: |
| Transformer | **15.3** | 13.6 | **55.3** | **38.5** |
| Mamba2 | 16.7 | 13.5 | 53.8 | 29.9 |
| GDN | 16.4 | 13.6 | 54.2 | 30.9 |
| Mamba3-SISO | 16.1 | 13.7 | 54.6 | 35.1 |
| Mamba3-MIMO | 15.9 | **12.3** | **55.3** | 36.8 |
| FRAC | 16.5 | 13.5 | 55.1 | 36.4 |

来源：Tables 3–4，p. 8。LM Harness 平均列排除前两项困惑度，只平均 LAMBADA、PIQA、HellaSwag、WinoGrande、ARC-e、ARC-c、OpenBookQA、BoolQ 八项准确率；HellaSwag 和 ARC-c 使用长度归一化准确率 `acc_n`。

FRAC 的 55.1 距离最高值仅 **0.2 个百分点**。它在 OpenBookQA 得分最高（41.8），但 Wikitext 困惑度比 Transformer 更高。论文主要将这些任务视为约 32–256 tokens 的短上下文能力检查。

真实检索方面，FRAC 的 36.4 比 Transformer 低 **2.1 分**，比 Mamba3-MIMO 低 **0.4 分**。它在 SWDE 上最高（43.2），但 FDA 为 20.0，明显低于 Mamba3-MIMO 的 28.9。该组全部截断至 2K，不能用来支持“真实长文档检索整体领先”。

### 4.5 DNA：上下文增加带来更低困惑度

![DNA 序列建模的困惑度与训练长度](figures/fig-04-dna.png)

原文 Fig. 4，p. 9。横轴是训练及测试截断长度，纵轴为测试困惑度，越低越好；Mamba3 此处为 SISO。所有模型均约 7M 参数、8 层、hidden size 256、8 heads，使用 HG38 和字符级 DNA tokenizer。（Appendix E.4，p. 25。）

随着长度从 1K 增至 64K，三个模型的困惑度总体下降。FRAC 在短长度与 Mamba3 接近，16K 之后曲线更低，32K–64K 已接近平台。该实验支持 FRAC 从更长训练上下文中受益；每个长度分别训练并以同长度测试，因此它与前面“固定 4K 训练后零样本外推”的 NIAH 证据不同。

### 4.6 状态容量与吞吐：小状态没有自动变成最快解码

Appendix E.3 按每层主要递归张量比较状态大小，排除短卷积缓存与架构专用辅助缓存：

| 模型 | 主要状态形状 | 每层标量数 | 相对 FRAC |
| --- | --- | ---: | ---: |
| FRAC | $16\times16\times256$ | 65,536 | 1× |
| Mamba2 / Mamba3 | $16\times256\times128$ | 524,288 | 8× |
| GDN | $16\times96\times192$ | 294,912 | 4.5× |

因此，FRAC 的收益并非通过配置更大的每层主要递归状态获得。这里比较的是张量标量数，而非完整模型的显存字节数；不同模型层数也不同。（p. 23。）

Table 8 的实际吞吐如下，单位均为 tokens/s，越高越好：

| 模型 | Prefill 1K | Prefill 4K | Prefill 16K | Decode | Train 4K |
| --- | ---: | ---: | ---: | ---: | ---: |
| Transformer | **55,839** | **79,173** | 56,297 | **62** | 218,184 |
| Mamba2 | 15,362 | 41,060 | 67,571 | 34 | **278,620** |
| GDN | 10,455 | 35,481 | 58,384 | 20 | 215,357 |
| Mamba3-SISO | 19,517 | 44,998 | 74,314 | 27 | 238,924 |
| Mamba3-MIMO | 13,692 | 30,710 | 46,707 | 25 | 200,994 |
| **FRAC** | 16,213 | 49,946 | **77,490** | 33 | 241,598 |

来源：Appendix F，p. 25。Prefill 是单卡、batch size 1 的比较；解码吞吐平均于生成 64 tokens，Transformer 的 62 对应 16K 前缀，其 1K/4K 数值分别为 75/72。训练列使用主预训练配置，不能与单卡推理列直接比较硬件效率。

在 16K prefill，FRAC 比 Mamba2 快约 **14.7%**，比 Transformer 快约 **37.6%**。但 1K–4K prefill 和解码仍由 Transformer 领先，线性模型中 Mamba2 的 decode 34 也略高于 FRAC 的 33。FRAC 训练吞吐比 Mamba2 低约 **13.3%**。这些结果体现了长度、kernel 和并行利用率共同决定速度；固定状态的优势不能直接改写为“所有场景更快”。

### 4.7 架构消融：模式分布、路由和直接通路都重要

消融使用 **390M 参数、30B tokens、4K 训练、16K 评估**，不是 1.3B 主实验。三个数据集指标均为困惑度，越低越好。

| 变体 | ProofPile | PG19 | GovReport |
| --- | ---: | ---: | ---: |
| **FRAC，M=16** | **47.2** | **28.4** | 11.3 |
| 固定 $\alpha=1$ | 61.3 | 36.2 | 19.7 |
| 去掉 write prior | 68.5 | 41.6 | 18.2 |
| pure multiscale bank | 76.3 | 47.1 | 17.2 |
| 去掉 softmax 读写归一化 | 80.4 | 36.9 | 15.5 |
| 独立初始化并学习时间尺度 | 54.1 | 34.3 | 13.5 |
| 去掉直接通路 $D$ | 70.9 | 46.4 | 23.6 |
| $M=8$ | 51.4 | 33.9 | 14.5 |
| $M=32$ | 47.9 | 29.1 | **10.6** |

来源：Appendix G，pp. 26–27，Table 9。

固定 $\alpha=1$、删除写入先验、删除 softmax 都使三个数据集恶化，说明收益不只来自“维护多个状态”。pure multiscale bank 同时固定 $\alpha=1$、移除两条读写先验，并改成独立初始化、自由学习的时间尺度；它检验的是整套结构化先验相对通用模式库的作用，不能单独归因到其中一个改动。另一个只改时间尺度的对照也变差，支持固定几何网格的价值。

去掉 $D$ 的损失很大，说明局部直接信息通路与慢记忆同样重要。$M=8$ 稳定恶化，$M=32$ 仅在 GovReport 更好，另外两项略差；作者报告 32 模式增加约 5% 参数并使计算慢约 7%，因此采用 16 模式。

这里的“$\alpha=1$”应按实际架构消融理解：它固定一个控制变量，其余多模式读写结构仍在，不能直接等同于将完整网络替换为单个普通 ODE 模型。

### 4.8 有限模式的数值拟合：16 个模式够不够

作者还单独拟合齐次核 $E_\alpha(-s^\alpha)$，其中 $s=\lambda^{1/\alpha}t$。固定 $\tau\in[1,2^{17}]$ 的几何网格，对每个 $\alpha\in\{0.10,0.11,\ldots,0.99\}$ 优化满足 $c_m\ge0$、$\sum_m c_m=1$ 的权重，最小化指定区间上的最大绝对误差，再对 $\alpha$ 求平均。

| 模式数 | 各 $\alpha$ 最大绝对误差的平均值 |
| --- | ---: |
| 8 | $1.34\times10^{-3}$ |
| 16 | $6.82\times10^{-4}$ |
| 32 | $6.45\times10^{-4}$ |

来源：Table 10，p. 27。区间为 $s\in[4,6553.6]$，采用固定归一化步长 $\Delta\lambda^{1/\alpha}=0.1$，使 64K tokens 对应 $s=6553.6$。8→16 模式将该误差近乎减半，16→32 的改善较小。

这个实验验证了**该模式库表示齐次分数阶曲线的能力**。它使用单独优化的混合系数、固定 $\alpha$ 和特定时间区间，没有测量神经网络训练后逐 token 的真实记忆核误差，也没有覆盖冲激核在零点附近的奇异部分。这个区别关系到怎样把数值拟合证据与语言模型结果连接起来。

## 五：结论——把时间尺度分布作为架构先验

FRAC 的贡献可以沿一条完整链条理解：分数阶方程给出重尾目标；非负扩散表示把它改写为指数模式的积分；有限几何网格把积分变成固定大小状态；选择性控制和规范化读写使该结构能服务于 token 建模；仿射递推则保留并行训练与递归解码的计算形式。

最有启发的设计是以少量模式覆盖多个时间尺度，并让内容选择在哪些尺度上存取。这一原则在重尾合成任务和 4K 训练后的长上下文评估中得到支持，也能与关联更新机制形成互补。

实际取舍集中在三个方面：

1. **覆盖范围由模式库与内部时钟共同决定。** 在冻结控制后，有限指数和的极远尾部仍由最慢指数模式支配；论文的近似保证针对有限区间。超出有效尺度覆盖，或任务需要迅速清除无关历史时，慢记忆的优势可能减弱。
2. **性能收益依赖所需能力。** FRAC 在 LongBench 平均分上领先，却在 LCC 和部分短上下文检索上落后；NIAH 的最难长距离设置仍会明显退化。更持久的状态不自动提供更精确的关联寻址。
3. **理论结构与训练模型有明确间隔。** 学习的读写权重、逐 token 控制，以及实际去掉 $1/\lambda_t$ 的写入系数，构成了对固定分数阶系统的架构推广。复现时应使用 Algorithm 1 的实验形式，解释时则保留固定系统误差界的适用条件。

作者在结论中提出与 delta-rule 更新结合，在局限中提出视频、科学序列和智能体持续记忆等后续应用；本文尚未提供这些组合或应用的实验。就现有证据而言，FRAC 最清晰的价值是：**用可控的多时间尺度先验改善固定状态模型的长距离记忆，同时保留可实际实现的扫描和解码形式。**