# Selective Rotary Position Embedding：中文研读笔记

**作者**：Sajad Movahedi、Timur Carstensen、Arshia Afzal、Frank Hutter、Antonio Orvieto、Volkan Cevher。前三位作者共同一作。

**版本**：arXiv:2511.17388v3，修订于 2026-06-23；ICLR 2026。**研读日期**：2026-10-13。

[arXiv](https://arxiv.org/abs/2511.17388v3) · [本地原文 PDF](../source/paper.pdf) · [英文汇报 PDF](slides.en.pdf) · [可编辑 TeX](slides.en.tex) · [作者代码链接](https://github.com/timurcarstensen/selective-rope)

## 论文总览

这篇论文把序列记忆的状态变换拆成两个部分：**衰减决定旧信息保留多大幅度，旋转决定信息以什么相位参与匹配**。传统 RoPE 在每个二维通道对上按固定频率前进；Selective RoPE 则根据当前输入生成旋转增量，沿序列累加，再用累计角度旋转 query 和 key。这样可以继续使用实数注意力内核，并保留底座原有的遗忘机制。

最有说服力的证据来自合成任务：输入相关的旋转改善关联召回、复制和置换状态追踪。MAD 的最佳组合平均分为 73.2，标准 RoPE 为 72.5，NoPE 为 65.9。语言建模的结论更有条件：GLA 370M 的平均准确率由 46.8 提升到 47.1，但两个报告的困惑度均略差；GLA 1.3B 的困惑度改善，平均准确率却由 55.2 降为 54.6。（Table 1，PDF p. 7；Table 3，PDF p. 9）

阅读时需要分开理解三件事：RoPE 与复数旋转递推的代数联系、用于启发设计的 softmax/Fourier 解释，以及实际训练出的模型。前两者解释了设计来源，但论文的温度最优性推导存在共轭与符号不一致，不能直接作为最终模型最优性的依据。

## 结构地图

本文引用页码均为从 1 开始的 PDF 页码，与该版本印刷页码一致。

| 原文章节 | 论证作用 | 位置 |
| --- | --- | --- |
| 1 Introduction | 提出旋转与遗忘的互补视角 | pp. 1–2，Fig. 1 |
| 2 Background | 线性注意力递推、RoPE 的复数表示 | pp. 2–4，Eqs. (1)–(7) |
| 3.1 Softmax attention implicitly performs rotations | 从 RFF 展开得到输入相关的旋转 | pp. 4–5，Eqs. (8)–(9)，Fig. 2 |
| 3.2 Necessity of Gating: Spectral Leakage in Diagonal SSMs | 以窗口和频谱泄漏解释衰减的作用 | p. 5，Fig. 3，Eq. (10) |
| 3.3 Design Principles for Linear Attention | 合并旋转与衰减，给出 Selective RoPE | p. 6，Eqs. (11)–(13) |
| 4.1 Implementation | 可学习投影、卷积、累计角度、相位门 | pp. 6–7，Fig. 4 |
| 4.2 Synthetic Language Tasks | MQAR、MAD、复制、状态追踪 | pp. 7–8，Figs. 5–7，Table 1 |
| 4.3 Language Modeling | 预训练、稳定化和效果取舍 | pp. 8–9，Tables 2–3 |
| 5 Related Work；6 Conclusion | 与已有序列模型的关系、后续问题 | pp. 9–10 |
| A.1–A.3 Mathematical Derivations and Proofs | 复数实化、RFF 递推、温度推导 | pp. 17–21 |
| A.4–A.7 | SSM 窗口、Householder、其他核方法、ALiBi/FoX | pp. 21–27 |
| B Experimental Details | 语言模型与合成任务配置 | pp. 27–29，Tables 5–7 |

## 一：动机——固定容量的记忆还需要怎样的状态变换？

softmax 注意力保留历史 token 的 key/value，可以针对当前 query 重新匹配整个前缀；代价是通常随序列长度二次增长的注意力算术量。线性注意力把历史压进固定大小的矩阵状态，单步推理的状态空间不随上下文长度增长，但历史信息会叠加和干扰。

门控线性注意力（Gated Linear Attention，GLA）通过输入相关的遗忘门管理这些叠加：重要历史衰减慢，不重要历史衰减快。不过，正的对角门主要缩放通道，不能直接提供条件性的相位翻转。标准旋转位置编码（Rotary Position Embedding，RoPE）提供二维旋转，却由位置索引决定旋转角，不能根据 token 决定这一步该转多少。

作者因此提出：保留已有遗忘机制，再给 query/key 配备**可学习、依赖输入的累计旋转**。这一设计特别适合需要“遇到特定符号就改变内部状态”的任务，而不仅是根据物理距离衰减历史。（Secs. 1–3，PDF pp. 1–6）

![原图 1：缩放、固定旋转、选择性旋转与缩放](figures/fig-01-overview.png)

原图 1，PDF p. 2。左、中、右依次是范数缩放、固定 RoPE、Selective RoPE 与衰减的组合；蓝色与红色箭头表示 query 与 key。这里是几何示意：一般逐通道对角缩放也可能改变整个向量的方向，不能把图中径向缩放理解为所有 GLA 门的精确二维行为。

## 二：方法——从复数递推到输入相关的位置坐标

### 2.1 先明确状态、读写方向和符号

以下沿用论文的右乘状态转移约定，并把 key/query 维度与 value 维度分别记清。论文多数公式为简洁起见统一写成 $d$。

| 符号 | 含义与维度 |
| --- | --- |
| $x_t$ | 第 $t$ 个 token 的输入表示 |
| $q_t,k_t\in\mathbb R^{d_k}$ | 查询与键；$d_k$ 为偶数 |
| $v_t\in\mathbb R^{d_v}$ | 值向量 |
| $S_t\in\mathbb R^{d_v\times d_k}$ | 线性注意力的记忆矩阵 |
| $A_t,\Lambda_t\in\mathbb R^{d_k\times d_k}$ | 状态转移、衰减门 |
| $R_t$ | 在固定二维通道对上旋转的块对角矩阵 |
| $\omega_{t,j},\psi_{t,j}$ | 第 $j$ 个通道对的单步角度、累计相位，单位为弧度 |
| $D$ | RFF 推导使用的随机特征数；不是最终模型必须采用的状态宽度 |

论文 Eq. (3) 的基本递推为

$$
S_t=S_{t-1}A_t+v_tk_t^\top,\qquad o_t=S_tq_t.
$$

零初始状态下展开得到

$$
o_t=\sum_{\tau=1}^t v_\tau\left[k_\tau^\top
\left(\prod_{\kappa=\tau+1}^{t}A_\kappa\right)q_t\right].
$$

每个旧 key/value 写入后，经历从 $\tau+1$ 到 $t$ 的状态变换。论文 Eq. (11) 把这一乘积起点写成 $\tau$；按其递推和 Eq. (3)、Eq. (13)，应为 $\tau+1$。当前 token 写入后没有再经历一次 $A_\tau$。（PDF pp. 3、6）

### 2.2 RoPE 是二维旋转，也可看作复数乘法

一个二维块为

$$
R(\omega)=\begin{bmatrix}\cos\omega&-\sin\omega\\
\sin\omega&\cos\omega\end{bmatrix}.
$$

把两个实数通道编码成一个复数后，乘以 $e^{i\omega}$ 就是上述旋转。令 $\widetilde q=q_1+iq_2$、$\widetilde k=k_1+ik_2$，则

$$
\Re\{\overline{\widetilde k}\,e^{i\omega}\widetilde q\}
=k^\top R(\omega)q.
$$

因此，$d_k$ 个实数通道上的成对旋转，可以表示成 $d_k/2$ 个复数通道上的对角变换；实数存储自由度没有因此减半。

固定 RoPE 使用 $R^{t-\tau}$，而正交旋转满足

$$
k_\tau^\top R^{t-\tau}q_t
=(R^\tau k_\tau)^\top(R^tq_t).
$$

这就是论文使用的 **RoPE trick**：递推中的旋转可以转移到写入 key 和读出 query 的预处理上。只需实数正弦、余弦及乘加，不必要求注意力内核使用复数数据类型。（Sec. 2，Eqs. (5)–(7)，PDF pp. 3–4；App. A.1，pp. 17–18）

### 2.3 softmax 的“隐式旋转”究竟指什么？

对 $\omega\sim\mathcal N(0,I)$，高斯特征函数给出

$$
e^{q^\top k}
=e^{(\|q\|^2+\|k\|^2)/2}
\mathbb E_\omega\left[\cos\big(\omega^\top(q-k)\big)\right].
$$

右侧可用 $D$ 个随机 Fourier 特征（Random Fourier Features，RFF）近似。这里近似的是 softmax 的指数核；完整注意力还需要同样近似分母后归一化。

**共轭约定很重要。** 若定义 $\phi_\omega(x)=e^{\|x\|^2/2+i\omega^\top x}$，应使用 $\phi_\omega(q)\overline{\phi_\omega(k)}$，或者其共轭，最后取实部。原文 Eq. (8) 写成同号特征的普通转置乘积，按字面会得到 $e^{-q^\top k}$；App. A.2 随后使用 $q-k$ 的相位差，才与上面的指数核一致。以下按该相位差形式解释。（PDF pp. 4、18–19）

为看清递推，对单个随机特征定义

$$
h_{t,j}=\sum_{\tau\le t}
e^{(\|q_t\|^2+\|k_\tau\|^2)/2}
e^{i\omega_j^\top(q_t-k_\tau)}v_\tau.
$$

把旧项和当前写入项分开，可得

$$
h_{t,j}=
\underbrace{e^{(\|q_t\|^2-\|q_{t-1}\|^2)/2}}_{\text{幅度变化}}
\underbrace{e^{i\omega_j^\top(q_t-q_{t-1})}}_{\text{旋转}}
h_{t-1,j}
+e^{(\|q_t\|^2+\|k_t\|^2)/2}
e^{i\omega_j^\top(q_t-k_t)}v_t.
$$

当相邻 query 范数相同，例如采用 $\ell_2$ 归一化时，前面的实指数因子为 1，旧状态只经历保范数旋转。论文 Eq. (9) 的纯旋转递推依赖这一条件；不归一化时不能直接省略幅度项。（App. A.2，PDF pp. 18–20）

但这些增量会望远镜消去：

$$
\prod_{\kappa=\tau+1}^t e^{i\omega_j^\top(q_\kappa-q_{\kappa-1})}
=e^{i\omega_j^\top(q_t-q_\tau)}.
$$

结果只取决于两端内容，不能据此说无位置编码的 softmax 已经获得了显式相对位置偏置。Sec. 3.1 在 PDF p. 4 也明确指出其路径无关性；p. 5 的小结使用“编码相对位置”的措辞较宽。本方法的关键跨越，是把这一差分结构推广成可学习的角度增量，使累计相位能够依赖中间 token。

### 2.4 温度谱：一个需要修正的理论环节

作者在 Theorem 1 中提出，对单位范数 query/key，最优随机特征标准差为

$$
\sigma=\tan\left(\tfrac12\arccos(q^\top k)\right),
$$

并用它启发跨通道的温度分布。Fig. 2 比较了这种分布与 RoPE 的衰减频率；实现中的温度用来缩放累计相位。（Sec. 3.1，PDF p. 5；App. A.3，pp. 20–21）

**本次分析：这一最优性结论与前面的正确 RFF 指数核不相容。** 设 $\xi=q^\top k$，$\|q\|=\|k\|=1$，则

$$
\mathbb E\left[e\cos\big(\omega^\top(q-k)\big)\right]
=e^{1-\sigma^2(1-\xi)}.
$$

当 $D\to\infty$ 且 $\xi<1$ 时，为匹配目标 $e^\xi$，需要 $\sigma^2=1$，并非上述正切公式。原推导从 $q-k$ 出发，却在期望展开中出现 $1+\xi$，与 $\|q-k\|^2=2(1-\xi)$ 不一致。此外，定理陈述针对有限样本误差，证明却在 $D\to\infty$ 下优化。

有限 $D$ 时，对正确的实部估计器，均方误差应为

$$
\operatorname{MSE}=
\frac{e^2}{2D}\left(1-e^{-2\sigma^2(1-\xi)}\right)^2
+\left(e^{1-\sigma^2(1-\xi)}-e^\xi\right)^2.
$$

它包含明确的样本数依赖。一个简单反例是 $\xi=1/2$：论文给出 $\sigma^2=1/3$，此时估计器的无限样本期望为 $e^{5/6}\approx2.301$，目标却为 $e^{1/2}\approx1.649$；$\sigma=1$ 则精确匹配期望。因此，温度分布可以作为设计启发，但该版本没有为它给出一致的最优性证明。这一问题不改变旋转预处理本身的代数可行性。

### 2.5 为什么还保留衰减：窗口视角及其适用范围

固定参数的连续对角 SSM，在零初始状态下可写成

$$
s_n(t)=\int_0^t e^{(-\alpha_n+i\omega_n)(t-u)}k_nv(u)\,du.
$$

$\omega_n$ 提供随时间差积累的相位；$\alpha_n>0$ 让较久远输入按 $e^{-\alpha_n(t-u)}$ 衰减。纯旋转对应 $\alpha_n=0$，相当于对有限历史使用矩形截断；在频域，这种截断会产生旁瓣和频谱泄漏。加入衰减改变时间窗口，允许控制旧信号对有限状态的贡献。

![原图 3：窗口与频谱泄漏](figures/fig-03-window.png)

原图 3，PDF p. 5。从左到右分别是原信号与截断窗、乘上平滑窗口的信号、对数幅度谱、窗口的 Fourier 变换。黑色矩形窗具有明显旁瓣，红色 Hann 窗抑制旁瓣，同时改变主瓣宽度。

这里“实部负责遗忘、虚部负责旋转”应理解为**连续生成元或指数参数** $-\alpha+i\omega$ 的两部分。离散转移为 $e^{-\alpha+i\omega}$，不能把这个复数的实部直接解释成遗忘率，例如 $e^{i\pi}=-1$ 仍然完全保范数。

这一段提供的是有用的设计动机。App. A.4 的 Fourier 分析针对固定系数对角 SSM；学习得到的输入相关频率通常不再是普通固定频率 Fourier 分析。Hann 窗与因果指数衰减也不是同一种窗口，衰减不能普遍保证频谱“无失真”。因此不宜把“旋转加衰减”提升成对所有优秀序列模型的必要性定理。（Sec. 3.2、App. A.4，PDF pp. 5、21–22）

### 2.6 Selective RoPE 的实际计算路径

用每个 token 的表示产生 $d_k/2$ 个角度增量，再逐通道累加：

$$
\omega_t=\operatorname{Conv1D}(W_\omega q)_t,\qquad
\psi_{t,j}=\Theta_j\sum_{\kappa=1}^t\omega_{\kappa,j}.
$$

令 $C_t=\operatorname{blockdiag}_j R(\psi_{t,j})$，计算

$$
q'_t=C_tq_t,\qquad k'_t=C_tk_t.
$$

之后把 $q'_t,k'_t,v_t$ 交给底座的注意力模块。这里只展示 Fig. 4 的核心路径；相位门、偏置和稳定化版本是额外设计。因果模型中的卷积需仅访问当前和过去输入。

由于这些二维旋转使用固定的通道配对，累计旋转等于角度累加。记 $R_t=C_{t-1}^\top C_t$，那么

$$
k_\tau^\top R_{\tau+1:t}q_t
=k_\tau^\top C_\tau^\top C_tq_t
=(k'_\tau)^\top q'_t,
$$

这正是 Eq. (13) 的实现基础。普通 RoPE 对应每步角度增量固定；Selective RoPE 的相位差则由中间内容决定。对于纯线性注意力，不再需要在每个时刻显式把整个状态矩阵做二维旋转。（Secs. 3.3–4.1，PDF pp. 6–7）

**一个状态追踪的教学例子。** 假设输入是二进制 $b_t$，选择 $\omega_t=\pi b_t$。则 $\psi_t=\pi\sum_{\kappa\le t}b_\kappa$，$\cos\psi_t=(-1)^{\sum b_\kappa}$。输入 0 时不转，输入 1 时翻转，奇偶性便可保存在相位中。固定 RoPE 不会依据 $b_t$ 决定这一步是否翻转。这个例子解释了表达能力的来源，不是论文训练出的具体参数。

### 2.7 与遗忘门组合时，哪些等价关系成立？

作者用 $A_t=\Lambda_t\bar R_t$ 描述复数通道上的衰减与旋转。如果每个二维旋转块的两个实通道使用相同的衰减，即该块为 $\lambda_{t,j}I_2$，衰减与旋转可交换，这一分解与预旋转的实现直接对应。

**本次推导：一般逐实通道门需要更仔细地区分坐标系。** 在预旋转坐标中运行

$$
\widehat S_t=\widehat S_{t-1}\Lambda_t+v_t(C_tk_t)^\top,
\qquad o_t=\widehat S_tC_tq_t,
$$

令 $S_t=\widehat S_tC_t$，实际等价转移是

$$
S_t=S_{t-1}\underbrace{C_{t-1}^\top\Lambda_t C_t}_{A_t^{\rm eff}}
+v_tk_t^\top.
$$

只有在相关矩阵可交换时，它才简化为 $\Lambda_tR_t$。因而“对 query/key 加旋转可以接入现有门控内核”是成立的工程做法，但对任意 GLA 对角门都声称它等于最简单的复对角递推，会遗漏这个条件。无论是否可交换，$\|A_t^{\rm eff}\|_2=\|\Lambda_t\|_2$，因此正交变换不会放大该单步转移的谱范数。

这一性质限制的是齐次状态传播；持续写入项和学习到的角度梯度仍可能造成优化困难，论文的语言模型实验确实需要稳定化设计。

### 2.8 实验版本、训练与推理

实现中不是保留随机 Gaussian 投影，而是学习角度投影。作者额外考虑了以下组件：（Secs. 4.1、4.3，PDF pp. 7–9）

| 组件 | 目的及论文观察 |
| --- | --- |
| 可学习 $W_\omega$ 与短卷积 | 由局部内容生成角度，不必保持理论推导中的一阶差分 |
| 相位 sigmoid 门 | 控制旋转强度；MAD 和语言模型的部分配置受益 |
| 可学习偏置 | MAD 与相位门组合有效；语言模型未见显著稳定收益 |
| 用归一化 $x_t$ 替换 $q_t$ 生成角度 | 缓解较高学习率下的训练不稳定 |
| 投影权重归一化或 rank 8/16 的低秩 MLP | 进一步改善稳定性 |
| 卷积后 SiLU | 改善语言模型基线配置 |

Fig. 4 没有完整给出所有附加组件的排列位置，也不能据此断言每个表格行都启用了同一套组件。尤其 Gated DeltaNet 在 Table 3 使用专门标注的 `stable_selective_rope` 变体。

训练时，角度累计和底座注意力都可采用序列批处理；自回归推理时，每个头额外维护累计相位以及短卷积所需的少量历史，再使用当前相位旋转本步 query/key。对固定宽度的线性底座，这些附加状态不随序列长度增长；用于 softmax/FoX 时，原有 KV cache 和注意力复杂度仍然保留。

因此，该方法没有把 softmax 转换为精确的固定状态模型。其额外工作包括投影、卷积、前缀和、三角函数和逐通道旋转。论文 v3 没有提供可用于量化端到端开销的吞吐对照表，不能从“复用 RoPE 内核”推导出具体加速倍数。

### 2.9 与其他方法的关系

App. A.5–A.7 将多个方法放入状态转移的视角：（PDF pp. 22–27）

| 方法 | 本文强调的转移结构 | 应如何理解 |
| --- | --- | --- |
| RFF / RFA | $e^{i\Omega^\top(q_t-q_{t-1})}$ | 单步保范数的输入相关旋转；属于核表示视角 |
| PRF / Performer | $e^{\Omega^\top(q_t-q_{t-1})}$ | 此重参数化的单步因子可能大于 1，不能直接推广为无约束稳定门 |
| RoPE / RoFormer | 固定通道频率的旋转 | 随位置累计，增量不依赖内容 |
| CosFormer | 所有通道共享频率 $\pi/(2M)$ 的复旋转 | 通过余弦/正弦两组状态表达其相对位置权重 |
| ALiBi | 指数核乘上固定 $a^{t-\tau}$ | 每个头的线性距离 bias 等价于指数衰减 |
| FoX | 指数核乘上 $\prod_{\kappa=\tau+1}^t a_\kappa$ | 将固定衰减推广为输入相关遗忘 |
| DeltaNet | 广义 Householder 型状态更新 | 提供方向混合；一般更新并非纯正交旋转 |

两个真正的 Householder 反射可以合成二维旋转，所以 Selective RoPE 的每个二维块也可看作两次反射。对单位向量 $w$，$I-2ww^\top$ 才是标准反射；带一般强度参数的更新不能一概称为保范数旋转。这帮助理解它和 DeltaNet 的联系，也保留了两种架构之间的实际区别。

App. A.6 对 PRF 方差的定理同样在证明中取了无限特征极限；其中 $\sigma=1$ 适合解释极限下的无偏核匹配，不宜据此声称有限 $D$ 的均方误差也总在该点最小。

## 三：实验——每组实验究竟检验什么？

### 3.1 合成任务及比较对象

| 实验 | 检验能力 | 主要设置与指标 |
| --- | --- | --- |
| MQAR | 在一个上下文里多次根据 key 取回 value | Fig. 6：长度 512、64 个 KV 对，横轴模型维度，纵轴准确率 |
| MAD | 压缩、模糊召回、上下文召回、记忆、噪声召回、选择性复制 | 66 种任务设置 × 6 种优化器设置，每种模型配置 396 次训练；报告任务分数和平均分 |
| 完整复制 | 遇到 `<copy>` 后逐 token 重现整个输入 | 字母表 26；训练长度 2–64；Table 7 列出评估长度 2–512；Fig. 5 展示到约 160 |
| 置换状态追踪 | 随输入不断更新当前置换状态 | $S_2$：单层 GLA、DeltaNet、Transformer；$A_3$：两层 DeltaNet；训练长度 128，评估到 512 |

NoPE 是不加显式位置编码的同架构基线，RoPE 是固定频率基线，Selective RoPE 检验内容依赖旋转带来的变化。MAD 进一步消融 phase gate 和 bias；不同任务中使用的最佳配置并不相同。

状态追踪使用 5 个种子、训练集 200 万序列、评估集 50 万序列，学习率 $10^{-3}$、100 个 epoch；完整复制表列出种子 42、学习率 $5\times10^{-5}$。Fig. 5 标注置信区间，但正文未说明区间的具体统计构造，不把阴影自动解释为多训练种子方差。（App. B.2，PDF pp. 27–29）

MQAR 附录称使用更细的 8 个学习率设置，但同时出现范围 $[10^{-4},10^{-2}]$ 和“从 $10^{-2}$ 到 $10^{-3}$ 均匀取值”两种描述，因此无法从文字唯一重建该网格。（PDF p. 28）

### 3.2 语言模型预训练与评估口径

Table 3 实际给出了四个配置块：FoX 370M/10B tokens、GLA 370M/10B、Gated DeltaNet 约 400M/10B、GLA 1.3B/26B。正文开头对 FoX/GLA 规模的概述较宽，不能据此补造没有展示的 FoX 1.3B 结果。

GLA/FoX 的通用训练说明为 FineWeb、4096 上下文长度、Mistral 7B tokenizer、32,000 词表；使用 AdamW 与 warmup/cosine 调度，按未参与训练的 400 万 tokens 困惑度选择学习率，再做 `lm-eval-harness` 默认零样本评估。Table 5 的学习率候选为 $5\times10^{-4}$、$10^{-3}$、$2\times10^{-3}$、$4\times10^{-3}$、$8\times10^{-3}$、$1.6\times10^{-2}$；Adam 的 $\beta=(0.9,0.95)$，权重衰减 0.1，梯度全局范数裁剪 1.0。（Sec. 4.3；App. B.1，PDF pp. 8–9、27）

表中两个 PPL 分别对应 Wiki 与 LAMBADA，越低越好；准确率覆盖 LAMBADA、PIQA、HellaSwag、WinoGrande、ARC-e、ARC-c，越高越好。其中 HellaSwag 与 ARC-c 使用 `acc_n`，其他列使用 `acc`，不能将这些不同口径混成同一种单任务准确率。Table 2 的 Avg-PPL 与 Wiki/LAMBADA 两个 PPL 的算术均值相符，不是训练验证集 PPL，也不是按 token 汇总的联合困惑度。

FoX 块限定为 output norm 关闭。Gated DeltaNet 块说明在每种位置编码配置内按最终验证困惑度选择 checkpoint，并标注稳定化变体；其附录没有像 GLA/FoX 那样单独完整展开所有设置。比较时应首先看同一架构块内的位置编码变化。

## 四：结果——强项、组件依赖和规模变化

### 4.1 MQAR：在较小宽度下更好地提取记忆

![原图 6：MQAR，长度 512、64 个 KV 对](figures/fig-06-mqar.png)

原图 6，PDF p. 7。横轴是模型维度 64、128、256、512；纵轴是召回准确率。GLA 的三条位置编码曲线中，Selective RoPE 在 128 维处明显领先，RoPE 次之，NoPE 较低；到 256 维时三者都已接近图中上限。最小的 64 维处，Selective RoPE 反而低于另外两者，因此收益并非在每个宽度上单调成立。图还包含 Transformer 及其他序列混合器的参考曲线。

这支持“旋转改变固定记忆的读写几何，从而提高容量使用效率”的解释。它没有增加随上下文增长的显式记忆槽位；提升发生在既有有限状态中。图中没有数据表，因此这里保留趋势，不把曲线读数写成精确到小数的结果。

### 4.2 MAD：旋转有效，但最佳平均分依赖额外组件

以下数值转录自 Table 1，PDF p. 7；均为越高越好。保留三个有解释力的任务和原表平均分。

| GLA 配置 | In-context Recall | Memorize | Noisy Recall | 原表平均分 |
| --- | ---: | ---: | ---: | ---: |
| NoPE | 87.3 | 38.7 | 87.6 | 65.9 |
| RoPE | 92.6 | **61.4** | 91.9 | 72.5 |
| Selective RoPE 基础版 | 94.0 | 57.1 | 91.7 | 72.0 |
| + phase gate | **96.6** | 56.9 | 94.3 | 72.3 |
| + bias | 95.0 | 61.3 | 91.2 | 72.7 |
| + phase gate 与 bias | 95.9 | 60.4 | **95.0** | **73.2** |

从 NoPE 到最佳组合，平均分增加 7.3 个百分点；相对 RoPE 则仅增加 0.7 个百分点。基础 Selective RoPE 的平均分为 72.0，低于 RoPE 的 72.5，因此不能把 73.2 全部归因于只替换旋转角度。

任务间也存在分工：phase gate 对上下文召回和噪声召回更有效，标准 RoPE 的 Memorize 为 61.4、Selective Copy 为 96.4，仍是对应列最优。Fuzzy Recall 的所有配置都只有 7.2–9.0，说明改进没有消除这个任务的困难。

### 4.3 完整复制：外推曲线改善，但远端仍下降

![原图 5：GLA 完整复制](figures/fig-05-copying.png)

原图 5，PDF p. 7。横轴为序列长度，纵轴为复制准确率，竖虚线表示训练长度边界。红色 Selective RoPE 在越过边界后下降较慢；橙色 RoPE 很快下降，灰黑色 NoPE 居中。

图中红线到约 160 tokens 已降至约 0.5，而不是维持接近 100%。因此这里成立的是**相对于基线更好的复制长度外推**。Table 7 的评估范围写到 512，但主图没有展示完整范围，不能把该配置上限当作方法在 512 上保持高准确率的证据。

### 4.4 状态追踪：内容决定旋转方向，收益最容易解释

![原图 7：S2 和 A3 状态追踪](figures/fig-07-state-tracking.png)

原图 7，PDF p. 8。从左到右是 $S_2$ 上的 GLA、DeltaNet、Transformer，以及 $A_3$ 上的 DeltaNet。前三个为单层模型，最后一个为两层；虚线位于训练长度 128。$S_2$ 是两个元素的置换群，对应奇偶翻转；$A_3$ 是三个元素的偶置换群，可理解为模 3 的循环状态。

Selective RoPE 让 GLA 在 $S_2$ 上学到训练范围内的状态追踪，并外推到更长序列，但其红线在接近 512 时也大幅下降。DeltaNet 的 $S_2$ 曲线外推最稳，到 512 仍保持很高。单层 Transformer 在训练长度及稍长处表现较好，继续增长后快速下降；两层 DeltaNet 在 $A_3$ 上也呈现相似的外推边界。

这组实验与“按内容实现翻转/循环”的机制解释高度一致。不过，图中不同架构的外推能力不同，不能把 DeltaNet 在 $S_2$ 的曲线推广为所有 Selective RoPE 模型的表现。原图只把纵轴写作 Accuracy，没有在该处明确逐 token 或整序列聚合方式，因此不从接近 0 的曲线推断二分类随机猜测水平。

### 4.5 语言建模：小模型平均准确率提升，PPL 和规模趋势不统一

以下转录 Table 3，PDF p. 9。PPL 越低越好，Avg. 越高越好；Avg. 保留原表报告值，FoX 的均值问题在表后解释。

| 架构／预算 | 位置编码 | Wiki PPL ↓ | LAMBADA PPL ↓ | 原表 Avg. ↑ |
| --- | --- | ---: | ---: | ---: |
| FoX 370M／10B | NoPE | 25.52 | 17.76 | 45.3 |
| 同上 | RoPE | **25.29** | 17.71 | 45.1 |
| 同上 | Selective RoPE | 33.87 | **17.29** | **46.1** |
| GLA 370M／10B | NoPE | **25.72** | **15.83** | 46.8 |
| 同上 | RoPE | 26.51 | 16.32 | 46.5 |
| 同上 | Selective RoPE | 25.98 | 16.33 | **47.1** |
| Gated DeltaNet 约 400M／10B | NoPE | **25.82** | 16.27 | 46.6 |
| 同上 | RoPE | 25.92 | 16.79 | 46.7 |
| 同上 | Selective RoPE† | 26.13 | **15.93** | **47.5** |
| GLA 1.3B／26B | NoPE | 18.18 | 8.59 | **55.2** |
| 同上 | RoPE | 18.50 | 8.88 | 54.4 |
| 同上 | Selective RoPE | **17.87** | **8.50** | 54.6 |

† Gated DeltaNet 的 Selective 行使用原表注明的 `stable_selective_rope`。FoX 为 output-norm-OFF 设置。

**GLA 370M。** Selective RoPE 相对 NoPE 的平均准确率提升 0.3 个百分点，相对 RoPE 提升 0.6 个百分点。Wiki PPL 25.98 和 LAMBADA PPL 16.33 均略差于 NoPE。单任务变化也有方向差异：ARC-c 从 24.9 提升到 26.6，LAMBADA 准确率则由 43.1 降到 42.2。

**Gated DeltaNet 约 400M。** 平均准确率相对 NoPE/RoPE 分别提升 0.9/0.8 个百分点；LAMBADA PPL 改善，但 Wiki PPL 从 25.82 增加到 26.13。这提供了 GLA 之外的支持，但比较对象是经过稳定化的 Selective 版本。

**FoX 370M。** LAMBADA PPL 和各准确率列有收益，但 Wiki PPL 从 NoPE 的 25.52 上升到 33.87，约恶化 32.7%。此外，原表的 Avg. 与列出的六项准确率算术均值不符：NoPE、RoPE、Selective 三行重算约为 46.18、45.93、46.97，而原表为 45.3、45.1、46.1。正文又将 Avg. 描述成核心多选题宏平均，没有进一步明确这一差异的来源。其他主要块的 Avg. 更接近包含 LAMBADA 的六项平均，因此不能用一个统一的可见列均值解释整张表。上述重算保留相同的排序，但复现或引用绝对平均分时应标明口径问题。

**GLA 1.3B。** Selective RoPE 的两项 PPL 最好；相比 NoPE，Wiki PPL 下降 0.31，LAMBADA PPL 下降 0.09。但原表平均准确率低 0.6 个百分点，WinoGrande 从 58.2 降至 56.0，ARC-c 从 30.0 降至 28.8。较小模型上的平均准确率增益没有直接延续到这个规模。

这些结果更适合支持“旋转引入新的表达能力和性能取舍”，而非“位置编码替换后所有语言建模指标同时提升”。论文 v3 在 Table 3 后也采用了依架构与规模而异的表述。

### 4.6 语言模型消融：基础旋转并不足够

Table 2，PDF p. 8；GLA 370M，在 FineWeb 上训练 10B tokens。

| 配置 | Avg-PPL ↓ | Avg-Acc ↑ |
| --- | ---: | ---: |
| NoPE | **20.78** | 46.8 |
| RoPE | 21.42 | 46.5 |
| Selective RoPE Baseline | 21.27 | 45.8 |
| + SiLU | 21.14 | 46.7 |
| + phase gate | 21.16 | **47.1** |

基础版平均准确率低于两个基线；SiLU 和 phase gate 明显影响最终结果。phase gate 配置比 Selective Baseline 高 1.3 个百分点，但其 Avg-PPL 仍不及 NoPE。这说明“给模型旋转能力”和“让该能力稳定地训练出收益”是不同问题，论文的稳定化与组件选择是方法的一部分。

## 五：结论——该带走什么，哪些结论应保留条件？

这篇论文最值得带走的是一个具体的状态设计：**让幅度衰减和相位变换承担不同功能，再让相位增量受内容控制**。累计相位把这种递推结构转化为 query/key 预处理，既保留了二维通道混合，也方便接入现有注意力实现。对于依赖条件翻转、循环累积和选择性检索的任务，这个机制比只调节正的遗忘率更直接。

实证中，最强的支持来自合成任务的结构性改善。语言模型则给出了实际取舍：小模型的部分平均准确率改善，需要相位门或其他稳定化组件；1.3B 的困惑度收益伴随平均准确率下降。因而，将它作为序列架构中的一个可消融模块，比把它当作已经证实普遍优于 RoPE/NoPE 的替代品更符合本文证据。

理论上，复数旋转与实数 RoPE 的联系清楚，常范数 query 下的 RFF 旋转表示也可以直接推导；但温度最优性、频谱窗口类比的适用范围，以及一般对角门与旋转的可交换条件，需要分别处理。特别是 App. A.3 的温度结论不能按当前证明无条件接受。

若沿这条思路继续研究，最有价值的是三个具体问题：在相同训练预算下分离角度参数化、相位门和归一化的作用；比较二维配对共享门与一般逐通道门；在真实语言模型的长上下文和端到端吞吐上检验累计相位的收益与成本。当前合成外推曲线已经显示收益及衰减边界，但尚不足以回答这些部署层面的问题。