# Large Language Continuous Diffusion Models：中文研读笔记

**方法：Sigma**（scaling up Gaussian diffusion models for language）  
**作者：** Zhihan Yang、Wei Guo、Jean-Marie Lemercier、Simon Welker、Yonggan Fu、Mohammad Mahdi Kamani、Sajad Norouzi、Julius Berner、Tomas Geffner、Karsten Kreis、Yongxin Chen、Molei Tao、John Thickstun、Pavlo Molchanov、Ante Jukić、Arash Vahdat、Morteza Mardani。机构为 NVIDIA、Cornell University、Georgia Institute of Technology。  
**版本：** arXiv:2610.02665v1，arXiv 提交于 2026-10-02；本次获取与研读日期为 2026-10-14。  
**原文：** [arXiv 页面](https://arxiv.org/abs/2610.02665v1) · [本地论文 PDF](../source/paper.pdf) · [英文汇报 PDF](slides.en.pdf) · [可编辑 TeX](slides.en.tex)。下文页码均为从 1 开始的 PDF 页码，与该文件印刷页码一致。

## 论文总览

Sigma 研究的是：**在可学习的低维连续空间中，扩散语言模型能否扩展到 3B/8B，并承担条件数学推理与代码生成？** 它沿用 Plaid/RePlaid 的似然训练框架，把每个 token 映射为 16 维单位向量，在这些向量上做高斯扩散；序列按 32-token 块生成，块间自回归，块内联合去噪。通过 AR 权重初始化、辅助 AR 损失、嵌入空间的无分类器引导（classifier-free guidance，CFG）和分数温度（score temperature，ST），作者把连续模型推进到与同规模掩码扩散模型 NLD 接近的水平。

这篇论文有三条相互连接的贡献。第一，连续扩散具有可用的大模型训练配方，3B/8B 基座模型的六任务均值为 64.34/69.67，NLD 为 64.74/70.22。第二，CFG 与 ST 能调节单次质量和多次采样覆盖率，在 MBPP 的 pass@256 上得到 91.8% 对 87.6%。第三，少步生成取决于采样器、嵌入几何和轨迹蒸馏的共同设计：SUSReg 改善 16/8 步表现，PDD 尤其改善 4 步表现，但代码任务仍有明显质量损失。（Secs. 3–6；Tables 1–4、8；PDF pp. 3–10、33。）

**本次分析的核心判断：** 最有价值的是一套贯通“大规模连续建模—推理时控制—少步压缩”的实证配方。当前结果支持准确率竞争力和采样可控性；高步数生成仍慢于充分优化的 AR 系统，少步结果与最终解码开销需要一起解读。

## 结构地图

| 原文章节 | 解决的问题 | PDF 定位 |
|---|---|---|
| 1. Introduction | 为什么把连续扩散扩展到条件语言推理 | pp. 1–2；Fig. 1 |
| 2. Background | Plaid、NELBO、可学习噪声调度与自条件 | pp. 2–3；Eqs. (1)–(2) |
| 3. Large Language Continuous Diffusion Models | 分块概率模型、双流训练、AR 初始化与正则化 | pp. 3–5；Figs. 2–3，Eqs. (3)–(6) |
| 4. Language Generation via Continuous Diffusion Sampling | DDPM/DDIM、CFG/ST、基座模型与 pass@k | pp. 5–8；Figs. 4–6，Tables 1–2 |
| 5. Few-Step Generation | 时间网格、SUSReg 与 PDD | pp. 8–9；Fig. 7 |
| 6. Supervised Fine-Tuning | 从基座能力到指令模型 | p. 10；Tables 3–4 |
| 7. Conclusions | 方法贡献与后续方向 | p. 10 |
| A. Related Work；B. Limitations and Future Work | 方法谱系、速度与解码鲁棒性问题 | pp. 20–22 |
| C. Additional Background: Masked Diffusion Language Models | 掩码扩散与 NLD 的损失、采样口径 | pp. 23–25 |
| D. Training and Inference Algorithms；E. Implementation Details and Additional Results for Pre-training | 完整算法、架构、SUSReg、初始化消融 | pp. 26–30；Algorithms 1–2，Table 5 |
| F. Implementation Details and Additional Results for Likelihood-based Benchmarks | 用似然界对多选答案打分 | pp. 31–32；Tables 6–7 |
| G. Implementation Details and Additional Results for Inference | 引导、步幅、求解器、pass@k、耗时与证明 | pp. 33–53；Tables 8–20，Figs. 10–20 |
| H. Implementation Details and Additional Results for Supervised Fine-Tuning | 数据、冻结参数、评测协议 | pp. 54–56；Tables 21–22 |
| I. Implementation Details and Additional Results for Parallel Decoding Distillation | 并行预测头、局部 rollout、蒸馏目标 | pp. 57–60；Eqs. (32)–(43) |
| J. Example Outputs | 基座与指令模型的定性样例 | pp. 61–63 |

## 一：动机——连续状态能提供什么？

### 1.1 从“决定哪个 token”变成“移动一组连续向量”

论文的掩码扩散对照从被遮盖的 token 序列出发，每一步按置信度提交若干离散 token，已提交的位置保持固定。Sigma 则在一个块内同时更新所有位置的连续潜变量，直到最后才读出 token。这让去噪过程可以使用连续 ODE/SDE 的时间网格、引导和轨迹蒸馏工具，也让局部预测在生成期间保持可修改。（Sec. 1，App. C；PDF pp. 1–2、23–25。）

这里有两个需要同时记住的尺度：**16 维是每个 token 的扩散状态维度；Transformer 的隐藏维度和输出词表仍然很大。** Sigma 的词表为 131,072，3B/8B 骨干宽度为 3,072/4,096。连续状态降低的是轨迹表示维度，并没有消除每一步的大词表投影与 softmax。

### 1.2 本文如何承接已有方法

Plaid 提供可学习单位球面嵌入、变分扩散和类别重参数化；RePlaid 对齐现代语言模型架构；NLD 提供可缓存前缀的分块结构和 AR 适配思路。Sigma 把这些部件组织成可训练到 3B/8B 的条件生成系统，并系统研究 CFG、ST、少步求解与蒸馏。

作者在摘要使用“首个大规模连续 dLM”的表述；附录 A 的更具体定位是**似然训练的 3B/8B 连续 dLM，并与匹配的掩码 dLM 正面对比条件推理和代码**。该附录也列出了其他表示路线上的 7B/8B 工作，因此理解创新时应保留这个方法范围。（PDF pp. 20–21。）

## 二：方法——训练连续几何，再控制生成轨迹

### 2.1 输入、状态与输出

| 符号 | 含义与形状 |
|---|---|
| $\mathbf{x}$ | token 序列的 one-hot 表示，$L\times V$ |
| $\mathbf{E}$ | 可学习扩散嵌入表，$V\times d_e$；$d_e=16$，每行范数为 1 |
| $\mathbf{e}=\mathbf{xE}$ | 干净 token 的连续嵌入，$L\times d_e$ |
| $\mathbf{z}_t$ | 噪声时间 $t$ 的连续状态；单块为 $L'\times d_e$ |
| $\mathbf{x}_\theta$ | 去噪器输出的词表概率；单块为 $L'\times V$ |
| $\mathbf{e}_\theta=\mathbf{x}_\theta\mathbf{E}$ | 预测的干净嵌入均值，$L'\times d_e$ |
| $\mathbf{c}$ | prompt 与已经生成的块组成的干净前缀 |
| $L',B$ | 块长与块数；主实验 $L'=32$，$B=L/L'$ |
| $\gamma(t)$ | 负对数信噪比，$-\log\operatorname{SNR}(t)$ |

![Sigma 推理流程](figures/fig01-pipeline.png)

图源：原 Fig. 1 左面板，PDF p. 2。先缓存干净前缀；当前块从高斯噪声开始，反复经过去噪器、概率到均值的映射和连续状态更新，最后才离散解码。图中的球体用于示意 16 维嵌入几何。

### 2.2 前向扩散与类别重参数化

前向过程是方差保持的高斯加噪：

$$
q(\mathbf{z}_t\mid\mathbf{x})=
\mathcal{N}(\alpha_t\mathbf{e},\sigma_t^2\mathbf{I}),
\qquad \alpha_t^2+\sigma_t^2=1.
$$

其中 $t=0$ 接近干净端，$t=1$ 接近高斯端；有限的可学习端点使两端都保留近似误差。信噪比随 $t$ 增大而减小：

$$
\operatorname{SNR}(t)=\frac{\alpha_t^2}{\sigma_t^2}=e^{-\gamma(t)},\qquad
\alpha_t^2=\operatorname{sigmoid}[-\gamma(t)],\quad
\sigma_t^2=\operatorname{sigmoid}[\gamma(t)].
$$

去噪器预测词表概率，再计算

$$
\mathbf{e}_\theta(\mathbf{z}_t,t;\mathbf{c})
=\mathbf{x}_\theta(\mathbf{z}_t,t;\mathbf{c})\mathbf{E}.
$$

这就是类别重参数化（categorical reparameterization）：一个位置可能同时相信多个候选 token，连续更新使用这些 token 嵌入的概率加权平均。因为权重非负且和为 1，未引导的预测位于词表嵌入的凸包内，范数不超过 1；CFG/ST 后的预测则可以越出这个范围。（Sec. 2，Eq. (1)；PDF pp. 2–3。）

**教学例子：** 若一个位置对两个 token 的概率分别为 0.6 和 0.4，预测就是 $0.6\mathbf{E}_a+0.4\mathbf{E}_b$。连续采样可以继续移动这个向量，后续步骤再改变两个候选的相对权重。扩散嵌入由训练共同优化，其几何也影响这个平均值的可辨识性。

### 2.3 分块概率模型与三项 NELBO

Sigma 对块间条件概率作自回归分解：

$$
p_\theta(\mathbf{x})=\prod_{b=1}^{B}
p_\theta(\mathbf{x}^{(b)}\mid\mathbf{x}^{(<b)}),\qquad
-\log p_\theta(\mathbf{x})\leq
\sum_b\mathcal L_{\mathrm{NELBO}}(\mathbf{x}^{(b)};\mathbf{x}^{(<b)}).
$$

每个块的负证据下界（negative ELBO，NELBO）包括三项：

$$
\begin{aligned}
\mathcal L_{\mathrm{NELBO}}
={}&\underbrace{\operatorname{KL}\big(q(\mathbf{z}_1\mid\mathbf{x})\Vert\mathcal N(0,I)\big)}_{\mathcal L_{\mathrm{prior}}}\\
&+\underbrace{\mathbb E_{q(\mathbf{z}_0\mid\mathbf{x})}
\sum_{l=1}^{L'}-\log\langle\mathbf{x}_\theta^l(\mathbf{z}_0,0;\mathbf{c}),\mathbf{x}^l\rangle}_{\mathcal L_{\mathrm{rec}}}\\
&\underbrace{-\frac12\mathbb E_{t,\mathbf{z}_t}
\left[\operatorname{SNR}'(t)\|\mathbf{e}_\theta(\mathbf{z}_t,t;\mathbf{c})-\mathbf{e}\|_F^2\right]}_{\mathcal L_{\mathrm{diff}}}.
\end{aligned}
$$

上式为原 Eq. (4) 省去块上标的写法。先验项让高噪声端匹配标准高斯；重建项让低噪声端能读回 token；扩散项让模型在各噪声尺度预测干净嵌入。由于 $\operatorname{SNR}'(t)<0$，MSE 的实际权重为正。嵌入表同时出现在目标、加噪状态和预测均值中，因此它也是似然训练的一部分。（Eqs. (2)–(4)，PDF p. 3。）

噪声调度写为 $\gamma(t)=\gamma_0+(\gamma_1-\gamma_0)\tilde\gamma(t)$。端点 $\gamma_0,\gamma_1$ 优化 NELBO；固定端点后，连续时间扩散积分对内部时间重参数化不变，因此 $\tilde\gamma$ 优化的是 Monte Carlo 估计方差。论文用扩散损失的二阶矩训练内部形状。这也解释了为什么**适合训练方差控制的时间参数化，未必适合有限步推理**。（Sec. 2；App. D，PDF pp. 3、27。）

### 2.4 双流训练如何避免重复计算

![双流训练结构](figures/fig02-architecture.png)

图源：原 Fig. 2a，PDF p. 4。左侧 AR 流读取干净离散 token，右侧扩散流读取加噪后的低维嵌入；两者共享 Transformer，使用各自的输出头。

干净流采用因果注意力。扩散块可以看所有更早的干净块，并在自己的噪声块内双向交互，不能读到当前块的干净答案或后续内容。这个掩码允许训练时把全部块放进一次前向计算，每块独立采样时间。

重建发生在 $t=0$，扩散损失发生在随机 $t$，因此作者按块随机选择一个目标，使用 Horvitz–Thompson 估计保持无偏：

$$
\widehat{\mathcal L}
=\mathcal L_{\mathrm{prior}}+
\frac{R}{p_{\mathrm{rec}}}\mathcal L_{\mathrm{rec}}+
\frac{1-R}{1-p_{\mathrm{rec}}}\mathcal L_{\mathrm{diff}},
\quad R\sim\operatorname{Bern}(0.1).
$$

10% 的块学习重建，90% 的块学习随机时间去噪，相应的逆概率权重补偿了采样频率。重建损失并非每个时间点都计算；这一点与少步采样时的终点鲁棒性密切相关。（Eq. (5)，Algorithm 1；PDF pp. 3、26。）

### 2.5 AR 初始化、辅助损失与自条件

骨干、AR 嵌入等从已经训练过 **1T token** 的 AR 检查点初始化。16 维扩散嵌入因维度不同而随机初始化。继续预训练目标为

$$
\mathcal L_{\mathrm{joint}}
=\mathcal L_{\mathrm{ar}}+w_{\mathrm{diff}}\mathcal L_{\mathrm{BD}}.
$$

旗舰配方先用 $w_{\mathrm{diff}}=1.0$，在约 200B 个继续训练 token 后切换为 0.3。辅助 AR 目标既保留 AR 生成能力，也稳定共享骨干的优化。Fig. 3 的早期从零/AR 初始化实验使用块长 64，最终主实验为块长 32，比较曲线时应保留这个区别。（Sec. 3.2，PDF pp. 4–5；App. E，p. 28。）

自条件（self-conditioning，SC）让去噪器再接收一个预测的干净嵌入。训练时 25% 的样本先无梯度前向得到估计，再把 detached 估计输入第二次前向；其余样本输入零。作者估计额外非嵌入 FLOPs 约 8%。推理时直接复用上一去噪步的预测，只给条件分支输入**未经 CFG/ST 修改**的均值；无条件分支保持零 SC。（Sec. 2、Fig. 4b，PDF pp. 3、7。）

### 2.6 DDPM、DDIM 与最后的离散解码

给定前缀 $\mathbf c$，每个新块从 $\mathbf z_1\sim\mathcal N(0,I)$ 开始。根据当前均值预测 $\hat{\mathbf e}_\theta$ 得到噪声预测

$$
\hat{\boldsymbol\epsilon}_\theta=
\frac{\mathbf z_t-\alpha_t\hat{\mathbf e}_\theta}{\sigma_t}.
$$

DDIM 用确定性更新

$$
\mathbf z_s=\alpha_s\hat{\mathbf e}_\theta+
\sigma_s\hat{\boldsymbol\epsilon}_\theta,\qquad s<t.
$$

DDPM 则每步加入新的高斯随机性：

$$
\mathbf z_s=(1-\kappa)\frac{\alpha_s}{\alpha_t}\mathbf z_t+
\kappa\alpha_s\hat{\mathbf e}_\theta+
\sqrt{\kappa(1-\alpha_s^2)}\,\boldsymbol\epsilon,
\quad \kappa=1-e^{\gamma(s)-\gamma(t)}.
$$

DDIM 的确定性是相对于固定初始噪声而言，多次重新采样 $\mathbf z_1$ 仍可生成不同回答。最终在 $t=0$ 再运行一次条件去噪器，按词表维度取 $\arg\max_v\mathbf x_\theta^{l,v}$ 得到 token。这里以 Algorithm 2 为准；Sec. 4.1 的文字把读出写到 $\mathbf x_\theta\mathbf E$ 后面，但该乘积只有 16 维，不能直接作为词表 argmax。（PDF pp. 6、27。）

干净前缀使用 AR 嵌入构建因果 KV cache，整个块的去噪步骤可复用它。新生成 token 的 KV 在下一块首步并入，无需单独额外调用。主文报告的 $N$ 个扩散步**不包含最终读出**：默认提交完整 32-token 块时，真实前向次数为每块 $N+1$。因此 32 步对应约 $33/32$ 次前向/生成 token，4 步对应约 $5/32$；每次处理的是一整个块，不能把这些比率直接当作端到端加速比。

### 2.7 CFG 与 ST：两个控制不同参照点的外推

令 $\mathbf e_c$ 为带干净前缀、带 SC 的预测，$\mathbf e_\varnothing$ 为去掉全部前缀和 SC 的预测。CFG 为

$$
\mathbf e^w=\mathbf e_\varnothing+w(\mathbf e_c-\mathbf e_\varnothing),\qquad w\geq1.
$$

它增强“看到前缀以后发生的变化”。$w=1$ 退化为普通条件预测。由于预训练采用序列 packing，第一块天然没有前缀，作者据此在推理时启用无条件分支，无需额外训练 context dropout。（Sec. 4.2，PDF p. 6。）

ST 把 score 放大为原来的 $1/\tau$，其均值形式为

$$
\mathbf e^\tau=\frac{\mathbf z_t}{\alpha_t}+
\frac1\tau\left(\mathbf e_c-\frac{\mathbf z_t}{\alpha_t}\right),\qquad0<\tau\leq1.
$$

它相对于 $\mathbf z_t/\alpha_t$ 外推。这个参照点是对干净嵌入的噪声估计；较小 $\tau$ 增强模型建议的去噪修正。**ST 不是 softmax logits 的温度。** 前者改变连续 score，后者改变词表概率再取均值，二者在几何上不同。

由高斯加噪的 Tweedie 关系，

$$
\mathbf s_t=\nabla_{\mathbf z_t}\log p_t(\mathbf z_t\mid\mathbf c)
=\frac{\alpha_t}{\sigma_t^2}\left(\mathbf e_c-\frac{\mathbf z_t}{\alpha_t}\right),
$$

所以 CFG 与 ST 可以合成为

$$
\boxed{\mathbf e^{w,\tau}
=\frac w\tau\mathbf e_c+\frac{1-w}{\tau}\mathbf e_\varnothing+
\left(1-\frac1\tau\right)\frac{\mathbf z_t}{\alpha_t}.}
$$

对应的 score 是 $\tau^{-1}[w\mathbf s_c+(1-w)\mathbf s_\varnothing]$。对每一分支先做 ST 再做 CFG，或先 CFG 后 ST，得到同一个仿射变换。原 Proposition 1 将其关联到每个噪声时间上 $p_t(\cdot\mid\mathbf c)^{w/\tau}p_t(\cdot\mid\varnothing)^{(1-w)/\tau}$ 的对数梯度；这一推导解释局部引导方向，不直接给出有限步采样最终分布的精确性。（Eq. (28)，PDF pp. 45–46。）

![引导与自条件的单步关系](figures/fig04-steering.png)

图源：原 Fig. 4b，PDF p. 7。两分支产生均值；橙色路径完成引导及状态更新；红色路径传递未引导的条件均值。条件/无条件分支通过注意力掩码打包进一次 Transformer 前向，减少 batch=1 时的额外权重读取。

### 2.8 时间网格：训练调度与推理步数分开设计

作者比较三种网格：均匀 $t$、均匀负对数信噪比 $\gamma$、EDM-$\rho$。均匀 $\gamma$ 满足

$$
\gamma(t_i)=\gamma_{\max}+\frac iN(\gamma_{\min}-\gamma_{\max}).
$$

EDM 在 $\tilde\sigma=\sigma/\alpha$ 的 $1/\rho$ 次幂上等距。由于 $\tilde\sigma=e^{\gamma/2}$，当 $\rho\to\infty$ 时，幂均值趋于几何均值，EDM 网格就趋于均匀 $\gamma$。有限步实验中，DDIM 配均匀 $\gamma$ 是低 NFE 下的稳健选择；DDPM-256 主结果使用 EDM $\rho=7$。（Sec. 5.1，App. G.6/G.11；PDF pp. 8–9、38–39、46、49。）

### 2.9 SUSReg：让词表嵌入充分利用单位球面

作者观察到，虽然嵌入有 16 维，自由似然训练后按主成分衡量只剩约 4 个有效维度。直觉上，过度聚集会让相邻 token 更难分辨，并放大少步积分误差和最终解码敏感性。

Sketched Uniform Spherical Regularization（SUSReg）把词表视为经验分布 $p_E=V^{-1}\sum_v\delta_{\mathbf e_v}$。对随机方向 $\mathbf a_m\sim\operatorname{Unif}(\mathbb S^{15})$，比较一维投影的经验特征函数与均匀球面分布的目标特征函数：

$$
\phi_{\mathbf a_m}(u)=\frac1V\sum_v e^{iu\langle\mathbf a_m,\mathbf e_v\rangle},\qquad
s(\mathbf E)=\frac VM\sum_{m=1}^M\int_{-u_{\max}}^{u_{\max}}
|\phi_{\mathbf a_m}(u)-\phi_{d_e}(u)|^2e^{-u^2/2}\,du.
$$

这里把原 Eq. (16) 的积分变量 $t$ 改写为 $u$，以区别扩散时间；$M$ 在本式为随机方向数。目标分布的一维密度正比于 $(1-x^2)^{(d_e-3)/2}$，定义于 $[-1,1]$。它通过多个随机切片约束整体分布，避免显式计算所有 token 对之间的距离。

论文配置为 $\lambda_{\mathrm{susreg}}=0.005$、512 个方向、$[-5,5]$ 上 17 个梯形积分点，正则项按每 token 加到扩散损失上。它改变了嵌入几何，对验证 PPL 几乎没有惩罚，同时改善少步生成。（Sec. 5.2，App. E.1；PDF pp. 9、28–29。）

![嵌入球面密度](figures/fig08-geometry.png)

图源：原 Fig. 8，PDF p. 29。列为 100K/150K 训练步，行为不使用/使用 SUSReg；颜色是相对均匀分布的密度，1 表示均匀。随机投影后的聚集区域明显减少；这是几何诊断，少步任务成绩提供了另一组直接证据。

### 2.10 PDD：一次骨干前向，预测多个细网格更新

并行解码蒸馏（Parallel Decoding Distillation，PDD）保留教师的细积分网格，但减少昂贵的 Transformer 调用。令细网格有 $G$ 个区间，目标调用预算为 $M$，每个时间段覆盖 $\Delta=G/M$ 个细区间。在段首运行一次学生骨干，各个轻量头同时预测该段后续所需的 $\Delta$ 个干净嵌入，然后用普通 DDIM 递推逐步更新状态。只有段末状态进入下一次骨干前向。（App. I.1，Eqs. (32)–(34)，PDF p. 57。）

**教学解释：** 如果一个 32 区间网格被分成 4 段，每段一次骨干给出 8 个预测，之后连续做 8 次便宜的向量更新。节省发生在神经网络计算，细网格算术仍然顺序执行。

PDD 的几个设计决定了它能否保持原模型能力：

- **残差头：** 保留原始词表 readout 得到的均值作为 anchor，每个头预测 $\hat{\mathbf e}^{S,\mathrm{raw}}=\exp(2\tanh\mathbf s)\odot\hat{\mathbf e}^{S,\mathrm{anchor}}+\mathbf r$。最后一层零初始化使所有头初始复现 anchor；残差允许预测离开词表凸包，从而拟合 CFG 外推。
- **蒸馏 CFG，显式保留 ST：** 单条件学生拟合教师的 CFG 结果，推理不再需要无条件分支；ST 仍按当前局部状态解析计算。回归目标本身不包括 ST。
- **段内 on-policy：** 段首来自干净数据的前向加噪分布；之后的监督点来自当前学生的局部 rollout，教师在这些学生到达的状态给出目标。这是局部 on-policy，而非从序列开头开始的完整生成轨迹训练。
- **关闭 SC：** 并行预测头无法依赖段内前一头的循环自条件，因此教师和学生都关闭 SC。
- **保留读出与 AR 行为：** 在嵌入 MSE 之外加入教师到学生的重建分布和 AR 分布的前向 KL。

蒸馏目标为

$$
\mathcal L_{\mathrm{distill}}
=5\mathcal L_{\mathrm{PDD}}+0.1\mathcal L_{\mathrm{teacher-rec}}
+0.3\mathcal L_{\mathrm{teacher-ar}}.
$$

教师固定，学生采用 rank-128、scale-256 的 LoRA；嵌入、词表投影和噪声调度冻结。残差头为 32 个宽度 384 的三层 MLP，训练 10K 步，batch 256，使用 512-token 干净前缀和 32-token 目标块。4 步结果采用 $(w,\tau)=(4,0.4)$，8 步采用 $(3,0.3)$，CFG 已蒸馏入学生。（App. I.2–I.5，PDF pp. 57–60。）

附录有一个复现时需要澄清的细节：I.3 要求每段无放回选取 $P$ 个局部节点，I.5 写 $P=8$，同时报告 32 个绝对时间索引头和 4/8 步预算。若据此取 $G=32$，8 步时每段只有 4 个节点，原文未说明这时如何调整 $P$。这不影响表中已报告结果的读取，但不足以唯一恢复该采样实现。

### 2.11 SFT 保留双目标，默认固定连续几何

SFT 从 150K 步基座检查点开始，只在 assistant 回答位置监督，目标按监督 token 数归一化：

$$
\mathcal L_{\mathrm{SFT}}=
0.3\frac{\sum_{i\in\mathcal A}\mathcal L_{\mathrm{BD},i}}{|\mathcal A|}
+\frac{\sum_{i\in\mathcal A}\mathcal L_{\mathrm{ar},i}}{|\mathcal A|}.
$$

数据为与 NLD 相同的单轮、non-thinking 版本，92.1% 的回答以空的 `<think></think>` 开头。训练时对 prompt 左侧补至多 31 个无监督 token，让回答从 32-token 网格开始；回答末尾用受监督 EOS 补满块。推理前缀采用偏移块掩码，无需这个 padding。

默认冻结 $\mathbf E$、调度网络及其端点，训练骨干、条件投影与两个输出头。配置为 8K 步（约 2.4 epochs）、全局 batch 256、序列长 4096、学习率 $2.5\times10^{-6}$。冻结/解冻的效果将在结果部分讨论。（Sec. 6，App. H；PDF pp. 10、54–56。）

## 三：实验——哪些比较是匹配的？

### 3.1 预训练与比较角色

| 项目 | 原文设置 |
|---|---|
| 数据与 tokenizer | 与 NLD 对齐的数据；Mistral-NeMo，$V=131{,}072$ |
| 序列 / 块长 | 4096 / 32；早期部分消融使用块长 64 |
| 继续训练 | 150K 步，batch 512，超过 300B token；起点已有 1T token AR 训练 |
| 3B 架构 | 26 层，宽 3072，FFN 9216；作者报告非嵌入 3.0B、总参数 3.8B |
| 8B 架构 | 34 层，宽 4096，FFN 14336；非嵌入 7.4B、总参数 8.5B |
| 注意力 | 两规模均 32 个 query head、8 个 KV head，head dim 128 |
| 训练量 | 约 9,600 / 19,200 GB200 GPU 小时，对应 3B / 8B |

NLD 是主要控制对照：数据、骨干、AR 起点与适配思路尽量一致，区别主要落在连续还是掩码扩散及其推理方法。LLaDA、Dream、SDAR 和其他 AR 模型提供外部参照，但不能把跨模型差距完全归因于连续表示。3B/8B 为作者模型名，参数量判断以附录的总参数口径为准。（Sec. 3.2，App. E，PDF pp. 4–5、28。）

### 3.2 基座模型协议

| 基准 | 题数 / 提示 | 指标与生成预算 |
|---|---|---|
| GSM8K | 1319，8-shot | 提取最后一个数并 exact match；256 tokens |
| Minerva Math | 5000，4-shot | 数学表达式规范化后判符号等价；512 tokens |
| HumanEval / HumanEval+ | 各 164，0-shot | 去代码围栏、AST 提取最长合法代码，再执行测试；512 tokens |
| MBPP / MBPP+ | 500 / 378，3-shot | harness 原生 pass@1，不使用上述 AST 后处理；512 tokens |

六任务平均是未加权的任务分数平均，越高越好。MBPP 与 MBPP+ 的样本集大小不同，后者数值更高不能据此推断增强测试更容易。Sigma 每个问题生成 10 个 sampling lanes，表中为各 lane 全题集成绩的均值 $\pm2\mathrm{SE}$；这是生成随机性误差条。

主配置为 DDPM-256、EDM $\rho=7$、$(w,\tau)=(2,0.1)$、SC 开启。NLD 主表采用块长 32 的置信度阈值贪心采样，按任务取 0.8/0.9 中较好阈值。主表是质量比较，采样计算预算没有统一为相同延迟。（App. G.1，PDF pp. 33–34。）

### 3.3 SFT、似然打分与多次采样的口径不同

指令模型覆盖十个任务：数学四项、代码三项、MMLU、GPQA 和 IFEval。MMLU/GPQA 在这里生成答案字母再评分；IFEval 为 instruction-level loose-following rate。Sigma 的最大生成长度为 GSM8K 1536，代码、MMLU、IFEval 2560，AIME/MATH-500/GPQA 4096。大部分 baseline 来自 NLD 论文，NLD-8B 扩散行是在对齐协议下重跑的结果。（App. H.2，PDF p. 55。）

附录 F 的基座多选实验则用候选答案的负 NELBO 排序：Sigma 用 128 个分层时间样本和 8 个重建样本；NLD 用低方差、按遮盖数量采样的 NELBO 估计。ARC-e/c、HellaSwag、PIQA 使用按字符长度归一化的分数，WinoGrande/MMLU 使用普通准确率。此处 MMLU 与指令表的“生成答案”评测属于不同协议。（PDF pp. 31–32。）

pass@k 衡量一次问题的 $k$ 个候选中至少有一个正确解的概率。对 $n$ 个样本中 $c$ 个正确的情形，作者用

$$
\widehat{\mathrm{pass@}k}=1-\frac{\binom{n-c}{k}}{\binom nk}.
$$

它描述正确解覆盖率，需要外部判题来识别成功，不等于部署时已经挑出正确答案的成功率。跨模型误差区间按题目配对计算。MBPP 的 Sigma 使用 256-step DDPM，对照 NLD 为 32 transfer steps；GSM8K、Geometry、AIME 的 Sigma 使用 32-step DDIM。多次采样的横轴 $k$ 是样本数，不能跨协议直接当作相同算力。（App. G.8，PDF pp. 42–44。）

## 四：结果——准确率、可控性与少步质量分别看

### 4.1 AR 初始化和辅助正则化能否迁移到连续模型？

Fig. 3a/b 显示，从零训练和 AR 初始化两种情况下，带 SC 的 Sigma 都能接近 NLD 的扩散验证 PPL；AR 初始化明显加快收敛。Fig. 3c 中，移除辅助 AR 目标使 AR 流恶化，合适的联合权重也改善扩散 PPL。去掉 AR 正则化的六任务 CFG/ST 扫描整体较差，说明该训练选择对下游生成有实际作用。（PDF pp. 5、47–48。）

附录 E.2 又比较 AR 起点与 NLD/MDLM 起点，继续训练均为 300B token。MDLM 初始化的六任务均值在 DDPM-256 下为 64.67，AR 初始化为 64.34；在 DDIM-32 下为 61.64 对 60.45。增益主要出现在 MBPP 系列，HumanEval 系列反而下降。因此 AR 起点是有效配方，MDLM 起点也可行，但收益有任务差异。（Table 5，PDF p. 30。）

### 4.2 基座模型：均值接近，数学和代码存在取舍

下表保留主表的均值；全部为扩散模式、块长 32，单位为 %。

| 模型 / 采样 | GSM8K | Minerva | HumanEval | MBPP | 六任务均值 |
|---|---:|---:|---:|---:|---:|
| NLD-3B | 83.40 | 63.96 | 56.10 | 57.60 | 64.74 |
| Sigma-3B DDPM-256 | 84.50 | 64.60 | 59.45 | 52.32 | 64.34 |
| Sigma-3B DDIM-32 | 81.91 | 62.76 | 56.59 | 47.26 | 60.45 |
| Sigma-3B DDIM-16 | 78.08 | 60.16 | 47.50 | 41.84 | 55.17 |
| NLD-8B | 87.26 | 65.16 | 62.80 | 67.00 | 70.22 |
| Sigma-8B DDPM-256 | 89.07 | 67.47 | 61.40 | 64.78 | 69.67 |
| Sigma-8B DDIM-32 | 87.78 | 67.13 | 58.54 | 59.54 | 66.72 |

来源：Tables 1–2，PDF p. 8。六任务均值还包括未展示的 HumanEval+ 与 MBPP+。

3B 的高步数 Sigma 在 GSM8K 上高出 NLD 1.10 个百分点，在 HumanEval 上高出 3.35，但 MBPP 低 5.28，最终均值低 0.40。8B 同样在数学上较强，六任务均值低 0.55。这说明连续扩散可以达到强掩码模型附近的质量，同时还没有形成各类任务上的一致优势。

与外部扩散基座模型相比，Sigma-3B 的均值比 LLaDA-8B 的 41.78 高 22.56 个百分点，比 Dream-7B 的 58.74 高 5.60；这一差距包含训练配方、数据和初始化的共同影响。Sigma-3B 的辅助 AR 模式均值为 65.47，8B 为 66.53，说明保留 AR 目标不意味着两种解码模式会以相同方式改善。

### 4.3 CFG/ST 改变连续轨迹的价值

![CFG 与 ST 的联合使用](figures/fig05-guidance.png)

图源：原 Fig. 5，PDF p. 7。横轴为 pass@1 准确率，纵轴为六个任务；比较只调 CFG、只调 ST、同时调两者以及均不使用的设置。联合配置 $(w,\tau)=(2,0.1)$ 更强，支持把两个控制量作为组合调参对象。

附录检验了三个可能的替代解释。

**引导应该在哪个空间做？** 在 DDIM-64、$\tau=0.3$ 下，HumanEval 的最佳 embedding CFG 为 56.22，最佳 logit CFG 为 53.78；DDPM-256、$\tau=1$ 下为 46.95 对 29.70。GSM8K/DDIM 是例外，logit CFG 为 83.49，embedding CFG 为 83.19。logit 引导常在 $w=2$ 达峰后迅速变差，嵌入引导的有效范围更宽。（Table 9，PDF p. 35。）

**只有 softmax 温度是否足够？** 在无 CFG 的 DDPM-256 下，logit 温度能把 GSM8K 从 52.44 提到 79.11；硬 MAP 端点也有 78.61，说明这种锐化本身有用。但在 CFG/ST 已开启的 DDIM 设置上，再加 logit 温度会使最佳 83.19 下降。ST 对均值进行外推，logit 温度始终把均值限制在词表凸包内，后者不能完全替代前者。（Tables 10–11，PDF p. 36。）

**坏预测只去掉 SC 是否足够？** 在 DDIM-64/$\tau=0.3$ 下，保留上下文但去掉 SC 的最佳 GSM8K 为 76.19，去掉上下文和 SC 为 83.19；HumanEval 为 50.91 对 56.22。结果支持使用完整无条件分支。（Tables 12–13，PDF p. 37。）

### 4.4 少步采样：SUSReg 与 PDD 的作用阶段不同

![步数、球面正则化和蒸馏](figures/fig07-few-step.png)

图源：原 Fig. 7，PDF p. 9。横轴为每块扩散步数，纵轴为 pass@1；橙色是基础 Sigma，蓝色为 SUSReg；实线保留 SC，虚线去掉 SC，星形为关闭 SC 的 PDD。三面板依次为 GSM8K、HumanEval、MBPP。代码面板在很少步数下更难保持质量。

| 3B 配置 | 普通 Sigma 六任务均值 | + SUSReg 均值 | SUSReg 增益（百分点） |
|---|---:|---:|---:|
| DDIM-256，SC 开 | 63.88 | 64.34 | +0.46 |
| DDIM-32，SC 开 | 60.41 | 61.85 | +1.44 |
| DDIM-16，SC 开 | 55.17 | 58.50 | +3.33 |
| DDIM-8，SC 开 | 37.06 | 42.76 | +5.70 |
| DDIM-4，SC 开 | 7.74 | 11.80 | +4.06 |
| PDD-8，SC 关 | 42.12 | 46.79 | +4.67 |
| PDD-4，SC 关 | 31.74 | 35.45 | +3.71 |

来源：Table 8，PDF p. 33。DDIM 使用均匀 $\gamma$，每个预算选择相应的 CFG/ST；PDD 使用蒸馏时的配置。因此这些是各预算下的系统配方比较，含超参数差异。**原文有一处数值不一致：** Table 1 的 DDIM-32 MBPP 为 47.26、均值 60.45，Table 8 为 47.06、均值 60.41。本表沿用 Table 8，前一节沿用 Table 1，未将二者混为一条记录。

SUSReg 的作用在 16/8 步尤其清楚；PDD 在 4 步把带 SUSReg 的均值从 11.80 提高到 35.45。对应 GSM8K 为 26.04→67.60，HumanEval 为 11.59→31.10，MBPP 为 4.32→16.20。到 8 步，PDD+SUSReg 的均值为 46.79，仍低于 16 步非蒸馏 SUSReg 的 58.50。它确实缓解极少步数下的退化，但四步代码生成仍是明显短板。

### 4.5 为什么更高阶 ODE 求解器反而失败？

在相同 16 次去噪调用、相同均匀 $\gamma$ 网格和 DDIM 选出的 CFG/ST 下，GSM8K 的 DDIM 为 78.08，DPM-Solver++(2M) 为 33.18，$\rho$AB1-DEIS 为 48.96，$\rho$AB2-DEIS 为 2.65，$\rho$RK-DEIS 为 0.86。HumanEval/MBPP 也未发现高阶方法优于 DDIM。（Table 16，PDF p. 40。）

![不同求解器的终点几何](figures/fig15-endpoints.png)

图源：原 Fig. 15，PDF p. 50。左图纵轴是终点偏离单位球面的平均距离，越小越好；右图是与最近词表向量余弦相似度的第 5 百分位，越高越好。8 步时，DDIM、$\rho$AB1-DEIS、DPM-Solver++ 的偏离距离分别为 0.014、1.29、26.2；对应相似度为 0.994、0.851、0.845。（诊断设置见 App. G.7，PDF p. 41。）

作者的解释是，高阶外推把低步数终点推到训练中很少出现的区域，而重建损失主要训练 $t=0$ 附近的读出；数值积分误差最终被放大成 token 错误。这也提示“连续轨迹”不保证可以直接使用图像扩散的高阶求解器。该比较沿用 DDIM 的引导超参数，其证据支持当前设置下的稳健性判断，尚未比较每个求解器各自完整调优后的最优值。

### 4.6 多次采样：覆盖率改善有强弱不同的证据

![MBPP 的 pass@k](figures/fig16-mbpp.png)

图源：原 Fig. 16，PDF p. 51。横轴是每题样本数，纵轴是 pass@k。左图允许每个 $k$ 从各自网格挑最佳设置，右图给每个模型固定一个高覆盖率设置。固定配置仍达到 Sigma 91.8%、NLD 87.6% 的 pass@256；差值 +4.2 个百分点，配对 95% CI 为 [+1.7,+6.7]。Sigma 用 256 步 DDPM，NLD 用 32 transfer steps；这是样本覆盖率比较。

在这组固定 MBPP 配置中，Sigma 的完全相同字符串重复率为 10.4%，NLD 为 53.1%；每题平均正确样本数反而是 91.5 对 139.5，但不同正确字符串数是 71.4 对 46.9。它们共同说明，降低单次锐化可以换取更广覆盖。字符串去重只是表面多样性的诊断，不直接等价于独立的推理策略。（App. G.8.1，PDF p. 42。）

| 任务 / 设置 | 主要发现 | 解释所需条件 |
|---|---|---|
| MBPP，3B base | pass@256：91.8% 对 87.6% | 固定配置差值区间排除 0；两家采样步数不同 |
| Geometry，3B base | 高覆盖配置 pass@512 约 95.4% 对 94.2% | 原文报告差值约 +1.3 pp，CI [-0.3,+2.8]；匹配 pass@1 后与最佳 NLD 近乎重合 |
| GSM8K，3B base | 256 次中至少解出 1314/1319 对 1305/1319 题 | 固定 Sigma $(2,1.0)$，NLD $(0.9,1.0)$；pass@256 配对差约 +0.68 pp，CI [+0.2,+1.2] |
| AIME 2025，3B instruct | pass@256：63.3% 对 53.3% | 仅 30 道题；与最佳 NLD 的区间跨 0，27 个配对比较仅 1 个排除 0 |

来源：App. G.8，Tables 17–19，Figs. 16–19；PDF pp. 42–44、51–52。

Geometry 的 matched-pass@1 控制尤其有信息量：当 NLD 的 temperature 调到 1.0，Sigma 的多样性优势没有形成稳定的更高覆盖；对较低温度的 NLD 则有明显增益。AIME 的趋势较强，但题目数决定了统计分辨率，多抽同一道题无法代替增加题目覆盖。AIME 实验中两家回答上限分别为 4096/16384 tokens，作者称正常输出没有触及较短上限。

### 4.7 SFT：整体接近 NLD，任务分布不同

| 扩散模式 | 3B 十任务均值 | 8B 十任务均值 |
|---|---:|---:|
| NLD-Instruct | 52.89 | 59.92 |
| Sigma-Instruct DDPM-256 | 52.15 | 59.27 |
| Sigma-Instruct DDIM-32 | 49.86 | 57.01 |

来源：Tables 3–4，PDF p. 10。两种规模的高步数均值分别比 NLD 低 0.74/0.65 个百分点，符合作者“接近”的总体判断。

看 8B 的具体任务，Sigma DDPM-256 的 GPQA 为 44.70（NLD 33.33），IFEval 为 79.14（73.02）；但 MATH-500 为 78.88（84.60），AIME25 为 16.33（23.33），HumanEval 为 79.76（83.54）。平均值接近来自不同任务上的互补，不能读成更强的困难数学推理。3B 的 Sigma 在 HumanEval 为 77.62，高于 NLD 74.39，但 LiveCodeBench-CPP 为 11.17，低于 NLD 16.30。

默认冻结连续几何的 3B 模型，DDPM-256 均值为 52.15，解冻后为 51.65；DDIM-32 则从 49.86 变为 50.84。两采样器上的排序反转，因此作者把冻结作为较简单的默认选择，没有证据支持冻结必然更优。（Table 22，PDF p. 56。）

### 4.8 补充结果：似然打分、提交步幅与系统开销

**似然多选。** 在附录 F 的六项候选打分任务上，Sigma/NLD 扩散模式均值分别为 3B 的 68.40/68.03，8B 的 72.28/73.02。它说明连续模型的变分界具有可用的答案排序能力。该协议使用多次 Monte Carlo 估计，并依赖双向注意力能处理非 32-token 的候选长度。（Tables 6–7，PDF pp. 31–32。）

**Commit stride。** 每次仍去噪 32 个位置，但只提交前 $S\in\{8,16,32\}$ 个，其余尾部丢弃，下一个窗口重新加噪。名义预算为 $32N/S$，包含读出后的真实预算为 $32(N+1)/S$。3B 在名义 256 下，DDIM-64/stride-8 均值 67.00，高于 DDPM-256/stride-32 的 64.34；但实际每 32 个提交 token 分别需 260 与 257 次前向。名义 32 下，DDIM-16/stride-16 为 61.82，DDIM-32/stride-32 为 60.45，而 DDIM-8/stride-8 下降为 57.76。小步幅可利用更短的提交跨度，但每窗去噪太粗时会失效。（Tables 14–15，PDF pp. 38–40。）

**块内稳定顺序。** Fig. 20 横轴是块内位置，纵轴是最终 token 以至少 0.9 概率保持稳定后的次序。Sigma 的靠前位置更晚稳定、靠后位置更早稳定，相比 NLD 的左到右倾向弱一些。曲线仍与位置相关；它描述中间预测的稳定顺序，最终实际提交仍在块末统一发生。（App. G.9，PDF pp. 44、53。）

**Packed CFG 的耗时。** 在单张 H100、Sigma-3B BF16、batch=1、只生成首块、前缀长约 729–814 的实验中，块长 32 的一次前向从 19.08 ms 变为 19.89 ms，增加 4.2%；块长 64 从 19.31 ms 变为 19.80 ms，增加 2.6%。主要额外开销来自第二份 logits、softmax 和类别重参数化。这个测量支持 CFG 的较小边际延迟，测量范围是每次去噪调用，并未给出整个系统相对 AR 的端到端优势。（Table 20，PDF pp. 44–45。）

## 五：结论与研究启发

Sigma 说明，**可学习低维嵌入上的连续扩散可以扩展成有竞争力的条件语言模型**。AR 迁移提供了训练起点，双流目标让骨干适应连续输入，CFG/ST 让已训练模型在质量和覆盖率之间选择操作点，SUSReg 与 PDD 又把连续表示转化为少步优化的入口。

这套方法最值得借鉴的三个联系是：似然优化同时塑造表示几何；表示几何又决定少步采样和解码的鲁棒性；蒸馏能减少网络调用，但需要保留词表读出与引导行为。单独提高求解器阶数、单独降低采样步数，都没有自动解决这些联系带来的误差。

实际取舍集中在两点。其一，高步数质量比较与生成速度分属不同证据，当前少步代码准确率仍明显下降。其二，低维嵌入带来紧凑轨迹，也使最终 token 读出对几何扰动敏感；训练只在接近干净端施加强重建约束，因而终点偏移是值得继续解决的瓶颈。（App. B，PDF p. 22。）

基于论文的下一步研究方向，可优先考虑在更多噪声时刻增强类别读出鲁棒性、让蒸馏保留 SC 的收益，并用相同真实前向次数或墙钟时间比较 pass@k 覆盖率。奖励引导、验证器驱动后训练和多模态统一连续空间是作者提出的后续方向，本文尚未给出这些方向的实证结果。