# LangFlow：连续扩散如何追近离散扩散语言模型

**论文**：LangFlow: Continuous Diffusion Rivals Discrete in Language Modeling  
**作者**：Yuxin Chen、Chumeng Liang、Hangke Sui、Ruihan Guo、Chaoran Cheng、Jiaxuan You、Ge Liu（UIUC）  
**版本**：arXiv:2604.11748v3，2026-04-15 修订；本次获取与研读日期：2026-10-14。  
**链接**：[arXiv](https://arxiv.org/abs/2604.11748v3) · [原文 PDF](../source/paper.pdf) · [作者项目](https://github.com/nealchen2003/LangFlow) · [英文汇报 PDF](slides.en.pdf) · [可编辑 TeX](slides.en.tex)

## 论文总览

LangFlow 要解决的问题是：**保留连续嵌入空间的生成轨迹，同时把语言建模质量提升到强离散扩散模型附近。** 它将 token 嵌入加上高斯噪声，让 Transformer 输出每个位置的词表概率，用交叉熵训练；再把预测概率映射回嵌入期望，构造连续流的去噪方向。这样，训练目标仍然直接对应“猜对哪个词”，生成过程却能在连续空间中逐步移动。

论文的贡献串成三层：先用 Bregman 散度解释交叉熵为何能学到流匹配所需的后验均值；再为有限噪声区间上的 ODE 模型推导负对数似然上界；最后用信息变化驱动的 Gumbel 噪声调度和自条件（self-conditioning，SC）改善训练及采样。后两项设计尤其决定实测表现，不能只把 LangFlow 理解为“把 MSE 换成 CE”。

约 130M 参数、训练 1M 步时，主表报告 LM1B 的 PPL 上界为 **30.0**，优于 MDLM 的 31.0；OpenWebText（OWT）为 **24.6**，仍高于 MDLM 的 23.2。OWT 的生成困惑度为 **36.5**，接近 AR 的 35.9，并低于表中扩散基线。题名中的 *rivals* 更适合理解为：**连续扩散在这组规模与协议下进入了强离散扩散的竞争区间**。域内 PPL 最好的模型仍是 AR。（Sec. 5，PDF pp. 9–10，Table 2）

## 结构地图

以下页码均为从 1 开始的 PDF 页码，与本文印刷页码一致。

| 原文章节 | 在论证中的作用 | PDF 定位 |
| --- | --- | --- |
| 1 Introduction | 连续语言扩散的表示、目标和评价瓶颈 | pp. 1–3 |
| 2 Preliminaries | 仿射高斯路径、边缘速度场与去噪器 | p. 3，Eqs. (1)–(6) |
| 3.1 Training Flow Matching on Language | logNSR 路径、Bregman 后验匹配、CE 与嵌入期望 | pp. 4–5，Eqs. (7)–(19) |
| 3.2 ODE Sampling and the Bound for Negative Log Likelihood | ODE 生成和似然下界 | pp. 5–6，Fig. 1、Theorem 3.1 |
| 4.1 Noise Scheduler | 信息均匀原则与 Gumbel 调度 | pp. 7–8，Fig. 2、Eq. (21) |
| 4.2 Self-Conditioning | 连续与离散扩散中的不同收益 | pp. 8–9，Table 1 |
| 5 Experiments | 域内建模与零样本语料迁移 | pp. 9–10，Tables 2–3 |
| 6 Additional Related Work；7 Conclusion | 方法定位与低样本熵问题 | pp. 10–11 |
| A LangFlow | 训练、采样算法和变分解释 | pp. 15–16，Algorithms 1–2 |
| B Proofs | ODE 似然界推导 | pp. 16–17，Eqs. (30)–(43) |
| C Experimental Details | 架构、训练、Plaid、嵌入几何及评价 | pp. 17–19，Table 4、Fig. 3 |
| D Additional Experiments | SC 动态、采样步数、熵和生成实例 | pp. 20–30，Fig. 4、Tables 5–7 |

## 一：动机——连续语言扩散卡在哪里

离散扩散直接在 token 状态之间跳转，masked diffusion 的典型过程是逐步恢复被遮蔽的位置。连续扩散则可以把一段文本表示为一组向量，从高斯噪声逐步恢复这些向量。作者希望保留后者的连续轨迹，以便将来使用轨迹编辑、ODE 求解和蒸馏等工具。

这里有两种连续表示。若在词表大小的 one-hot 或概率单纯形空间中扩散，每个位置面对的是高维且稀疏的目标；若使用维数较小、可学习的词嵌入，连续状态的维度更紧凑。LangFlow 选择后者，但仍输出完整的词表概率，因此它压缩的是**扩散状态**，并没有消除词表输出层的计算。

嵌入空间也引入了新的困难。直接回归嵌入可能通过改变嵌入几何来降低误差；照搬图像噪声调度会把大量步骤放在已经容易识别 token 的区域；采用 ODE 采样后，还需要与该连续模型对应的似然评价方法。论文分别从训练目标、时间分配和评价公式解决这些问题。（Secs. 1、3，PDF pp. 1–6）

## 二：方法——从离散监督构造连续生成轨迹

### 2.1 输入、输出与状态

| 符号 | 含义与维度 |
| --- | --- |
| $\mathbf{x}=(x^{(1)},\ldots,x^{(L)})$ | 长度为 $L$ 的 token 序列 |
| $V,D$ | 词表大小、嵌入维度；LangFlow 的 $D=768$ |
| $\mathbf{E}\in\mathbb{R}^{V\times D}$ | 可学习嵌入矩阵，第 $k$ 行为 $\mathbf e_k^\top$ |
| $\mathbf z\in\mathbb{R}^{L\times D}$ | 干净序列嵌入，第 $i$ 行对应 $\mathbf e_{x^{(i)}}$ |
| $\gamma=\log(\sigma^2/\alpha^2)$ | 对数噪声信号比（logNSR），越大越嘈杂 |
| $\hat{\mathbf x}_\theta\in\mathbb{R}^{L\times V}$ | 每个位置对干净 token 的预测概率 |
| $\hat{\mathbf z}_\theta\in\mathbb{R}^{L\times D}$ | 将概率加权嵌入后得到的去噪预测 |
| $a,b$ | 有限噪声区间的干净端与噪声端，$a<b$ |

![原图 1：训练与采样流程](figures/fig-01-pipeline.png)

来源：Fig. 1，PDF p. 6，作者原始图件。左侧从真实 token 出发，加噪后预测概率并计算 CE；可选的第一遍预测用于 SC。右侧从高斯噪声出发，用预测嵌入逐步更新整段状态，最后才用 argmax 产生 token。

### 2.2 用噪声水平而非任意时间编号作为条件

论文采用方差保持（variance-preserving，VP）路径：

$$
\mathbf z_\gamma=\alpha_\gamma\mathbf z+\sigma_\gamma\boldsymbol\epsilon,
\qquad \boldsymbol\epsilon\sim\mathcal N(\mathbf0,\mathbf I),
$$

$$
\sigma_\gamma^2=\operatorname{sigmoid}(\gamma),\qquad
\alpha_\gamma^2=\operatorname{sigmoid}(-\gamma),\qquad
\alpha_\gamma^2+\sigma_\gamma^2=1.
$$

当 $\gamma\to+\infty$ 时趋近纯噪声；当 $\gamma\to-\infty$ 时趋近干净嵌入。因此**生成沿着 $\gamma$ 下降的方向进行**。网络直接接收 $\gamma$，使相同信噪条件具有一致的含义，也把原先集中在很小时间区间里的困难区域展开。（Sec. 3.1，PDF p. 4，Eqs. (7)–(8)）

更换时间坐标本身不会增加模型的信息；真正改变训练资源分配的是后文的采样分布 $\pi(\gamma)$。如果只是对同一积分换元，需要保留 Jacobian；主动改变 $\pi$ 则会改变有限容量模型的损失权重。

### 2.3 交叉熵为什么足以学习连续流

给定当前嵌入和噪声状态，令 $\mathbf p=\mathbf1_{x^{(i)}}$ 为真实 token 的 one-hot 向量，$\mathbf q$ 为模型预测。Bregman 散度定义为：

$$
D_f(\mathbf p,\mathbf q)
=f(\mathbf p)-f(\mathbf q)-\nabla f(\mathbf q)^\top(\mathbf p-\mathbf q).
$$

对随机目标取条件期望，可以把训练误差分成一个后验匹配项和一个与预测 $\mathbf q$ 无关的项：

$$
\mathbb E[D_f(\mathbf p,\mathbf q)\mid\mathbf z_\gamma]
=D_f(\mathbb E[\mathbf p\mid\mathbf z_\gamma],\mathbf q)+C.
$$

所以后验概率向量 $\mathbb E[\mathbf1_{x^{(i)}}\mid\mathbf z_\gamma]$ 是最优预测；对 CE 对应的严格凸函数，预测的最优分布被唯一确定。这里的论证针对给定数据表示时的后验匹配，并不意味着联合学习嵌入时所有附加项都与嵌入参数无关。（Sec. 3.1，PDF pp. 4–5，Eqs. (9)–(15)）

取 $f(\mathbf p)=\sum_k p_k\log p_k$，散度变成 KL；one-hot 目标下只剩下正确 token 的负对数概率：

$$
\mathcal L_{\rm CE}
=\mathbb E_{\gamma\sim\pi,\,\mathbf x,\,\boldsymbol\epsilon}
\left[-\frac1L\sum_{i=1}^L
\log\hat x_\theta^{(i,x^{(i)})}(\mathbf z_\gamma,\gamma)\right].
$$

连续去噪器则由概率的嵌入期望构造：

$$
\hat{\mathbf z}_\theta^{(i)}
=\sum_{k=1}^V\hat x_\theta^{(i,k)}\mathbf e_k
=\mathbf E^\top\hat{\mathbf x}_\theta^{(i)}.
$$

**关键桥梁**：如果 token 后验正确，这个加权和就是 $\mathbb E[\mathbf z^{(i)}\mid\mathbf z_\gamma]$；仿射高斯路径的条件速度对干净嵌入是线性的，因此这个条件均值足以恢复边缘速度场。它说明 CE 与所需的流估计具有一致的理想目标，而非声称 CE 数值等于速度 MSE 或最终生成模型的精确 NLL。（Sec. 2，PDF p. 3，Eq. (6)；Sec. 3.1，PDF p. 5，Eqs. (17)–(19)）

教学例子：若一个位置对三个候选 token 的概率为 $(0.6,0.3,0.1)$，当前目标是 $0.6\mathbf e_1+0.3\mathbf e_2+0.1\mathbf e_3$。保留这种软目标，可以让后续步骤继续修正；立即取 argmax 会提前丢失另两个候选的信息。

附录 A.3 还把相同目标写为分解式变分后验 $q_\theta(\mathbf x\mid\mathbf z_\gamma)=\prod_iq_\theta^{(i)}(x^{(i)}\mid\mathbf z_\gamma)$ 的负对数似然。各位置都能观察整段噪声序列；这种输出因子分解不等于假设自然语言各位置相互独立。（PDF p. 16，Eqs. (24)–(29)）

### 2.4 ODE 如何真正生成文本

去噪器与速度场的关系是：

$$
\mathbf v_\theta(\mathbf z_\gamma,\gamma)
=\frac{\dot\sigma_\gamma}{\sigma_\gamma}\mathbf z_\gamma
-\frac{\alpha_\gamma}{2}\hat{\mathbf z}_\theta(\mathbf z_\gamma,\gamma),
$$

这里的点表示对 $\gamma$ 求导。令 $\alpha_k=\alpha_{\gamma_k}$、$\sigma_k=\sigma_{\gamma_k}$，把每个小区间内的去噪预测视为常量，得到：

$$
\mathbf z_{k+1}=\sigma_{k+1}\left[
\frac{\mathbf z_k}{\sigma_k}
+\left(\frac{\alpha_{k+1}}{\sigma_{k+1}}-
\frac{\alpha_k}{\sigma_k}\right)\hat{\mathbf z}_k
\right].
$$

这是对 $\mathbf z/\sigma$ 关于 $\alpha/\sigma$ 的一阶积分；它不是简单地对原坐标写一个固定步长的 $\mathbf z+\Delta\gamma\,\mathbf v$。初始化 $\mathbf z_0\sim\mathcal N(0,\sigma_b^2\mathbf I)$，从 $b$ 积分到 $a$，最后额外前向一次并逐位置 argmax。（Appendix A.1–A.2，PDF pp. 15–16，Algorithm 2、Eq. (22)）

ODE 给出的是有限端点之间的连续确定性传输。最终 token 解码是多对一映射，因此不能把连续轨迹的可逆性直接套到离散文本上。作者提出未来可借此做少步蒸馏；本篇实验没有进行蒸馏。

### 2.5 ODE 似然界：评价的到底是什么

需要区分两件事：生成样本时最后取 argmax；似然推导则使用概率解码器

$$
\hat p(\mathbf x\mid\mathbf z_a)
=\prod_i\hat x_\theta^{(i,x^{(i)})}(\mathbf z_a,a).
$$

因此定理针对的是“ODE 连续隐变量分布 + 概率解码器”定义的文本模型，不能直接视作最终确定性 argmax 样本分布的精确似然。

从真实序列构造 $\mathbf z_a\sim\mathcal N(\alpha_a\mathbf z,\sigma_a^2\mathbf I)$，沿**与生成相反的方向**从 $a$ 积分到 $b$。Theorem 3.1 给出：

$$
\log p(\mathbf x)\ge \mathbb E_{\mathbf z_a\mid\mathbf x}\left[
\frac{LD}{2}-\frac{\|\mathbf z_b\|^2}{2\sigma_b^2}
+\sum_{i=1}^L\log\hat x_\theta^{(i,x^{(i)})}(\mathbf z_a,a)
-\int_a^b\frac{\alpha_\gamma}{2}
\nabla_{\mathbf z_\gamma}\!\cdot\hat{\mathbf z}_\theta(\mathbf z_\gamma,\gamma)\,d\gamma
\right].
$$

范数对整段 $L\times D$ 状态展开计算。右边包含四项：维度常数、映射至噪声端后的高斯能量、干净端的 token 重建概率，以及沿轨迹的体积变化。散度是去噪器关于当前连续状态的 Jacobian 迹。（Sec. 3.2，PDF p. 6，Eq. (20)）

证明可以抓住三个步骤：

1. 以 $\mathbf z_a$ 为隐变量，对高斯编码分布使用 Jensen 不等式，得到重建项、隐变量密度项和编码器熵。
2. 用连续变量变换公式 $\frac{d}{d\gamma}\log p_\gamma(\mathbf z_\gamma)=-\nabla\cdot\mathbf v_\theta$，将 $p_a$ 换成可计算的噪声端高斯密度。
3. 展开 $\nabla\cdot\mathbf v_\theta=LD\,\dot\sigma/\sigma-(\alpha/2)\nabla\cdot\hat{\mathbf z}_\theta$；其中积分出的 $\log\sigma$ 项与高斯熵中的尺度项抵消，留下上式。

这解释了为什么最后是**对数似然下界、NLL 上界、进而 PPL 上界**。PPL 需先按 token 归一化 NLL，再取指数。不同扩散方法的上界松紧可能不同，因此表中的 PPL 上界不是精确似然排行榜。（Appendix B.1，PDF pp. 16–17）

实际评价使用 128 步 Heun-2 积分，以及 Hutchinson 迹估计；采样用的一阶求解器与这里的评价求解器不同。理论上界对应理想积分和期望，有限步数与随机迹估计会带来数值误差。（Appendix C.4，PDF p. 19）

还有一个实现层面的衔接需留意：定理将去噪器写作当前状态与 $\gamma$ 的函数，而 Algorithm 2 的 SC 另带上一轮预测。原文没有展开这一历史输入在似然计算中的状态定义、反向轨迹和散度求导处理。若复现带 SC 的 PPL，应明确这些细节；这一问题不同于上面的连续流公式推导本身。

### 2.6 信息均匀调度：把步骤放到信息发生变化的位置

![原图 2：损失随时间、噪声水平及其导数的变化](figures/fig-02-loss-geometry.png)

来源：Fig. 2，PDF p. 8；由作者的三个原始面板并排组合，未改变数据。左图横轴为 OT 时间 $t$、纵轴为 CE；中图横轴为 $\gamma$、纵轴为不同训练检查点的损失；右图展示损失对 $\gamma$ 的导数，虚线是拟合的 Gumbel 密度。

左图显示，在作者的时间约定下，$t>0.2$ 的大部分区域已经几乎没有去噪损失。有限个分离的 token 嵌入可以在尚有噪声时就被辨认出来，所以均匀地分配时间步会过多访问容易的区域。中图显示，不同训练阶段的 CE 曲线接近；作者据此把损失当作后验熵的近似：

$$
\ell_{\rm CE}(\gamma)
=\frac1L\sum_i\mathbb E_{\mathbf z_\gamma}
\left[H(p_i(\cdot\mid\mathbf z_\gamma))+
D_{\rm KL}(p_i(\cdot\mid\mathbf z_\gamma)\|\hat p_{\theta,i})\right]
\approx H_\gamma.
$$

熵分解是恒等式；“KL 已很小、损失主要反映不可约后验熵”是作者基于训练曲线采用的近似。曲线接近本身并不单独测出 KL 的大小。

生成沿 $\gamma$ 下降，信息增加对应熵下降。若希望每个采样区间带来接近的熵变化，应让区间密度满足

$$
\pi(\gamma)\propto H'_\gamma.
$$

这与按损失大小分配预算有区别：最嘈杂区域可能损失很高，但如果曲线已经饱和，导数很小，继续密集布点收益有限。LangFlow 关注“从不知道转向知道”的过渡区。

作者发现经验导数右偏，使用 Gumbel 的累积分布函数拟合熵：

$$
F(\gamma)=\exp\left[-\exp\left(-\frac{\gamma-P_\mu}{P_\beta}\right)\right],
\qquad H_\gamma\approx H_{+\infty}F(\gamma),\quad P_\beta>0.
$$

训练从对应 Gumbel 分布采样 $\gamma$；调度器通过

$$
\mathcal L_{\rm Scheduler}
=\mathbb E\big[(\operatorname{stopgrad}(\ell_{\rm CE}(\gamma))-H_\gamma)^2\big]
$$

学习 $H_{+\infty},P_\mu,P_\beta$。采样得到的 $\gamma$ 也停止梯度，让主模型的 CE 和调度器拟合各自更新，避免模型通过移动噪声水平来直接降低当前 CE。（Sec. 4.1，PDF pp. 7–8；Algorithm 1，PDF p. 15）

由反函数得到采样节点：

$$
q_k=\operatorname{clip}(1-k/N,10^{-5},1-10^{-5}),\qquad
\gamma_k=P_\mu-P_\beta\log(-\log q_k).
$$

于是每一段具有相近的 Gumbel 概率质量，在熵拟合成立时也有相近的信息变化量。$a,b$ 对应 $10^{-5}$ 和 $1-10^{-5}$ 分位点。**信息均匀是设计原则，Gumbel 是经验拟合选择**；论文没有证明它对所有文本分布和模型容量都最优。

原文 Fig. 2 图注将 OT 时间写为 $t=\operatorname{sigmoid}(\gamma/2)$，与 Sec. 3.1 中“$t$ 增大时噪声减小”的方向相反。按从噪声到数据的线性 OT 路径 $\alpha=t,\sigma=1-t$，可推得 $t=\operatorname{sigmoid}(-\gamma/2)$。这里统一使用正文和 Algorithm 2 的方向：**大 $\gamma$ 为噪声，生成时递减**。

### 2.7 自条件如何在训练和采样中进入模型

训练时，以 $p_{\rm SC}=0.25$ 的概率先在相同噪声输入上前向一次，把概率变成嵌入预测，停止梯度后作为第二遍的辅助输入；其余情况辅助输入为零。采样时始终启用 SC，第一步为零，之后沿用上一步的嵌入预测。辅助输入提供了模型自己的候选解释，供下一次计算修正。（Sec. 4.2，PDF p. 8；Algorithm 1，PDF p. 15）

在 DiT 前，输入更新为：

$$
\mathbf z_\gamma\leftarrow\mathbf z_\gamma+
W_{\rm in}\mathbf z_\gamma+W_{\rm SC}\mathbf z_{\rm SC},
$$

两个投影零初始化。此外，嵌入归一化到半径 $\sqrt D$ 的球面，使其尺度与单位高斯噪声匹配。logits 还加入一个已知高斯似然偏置，对每个候选 token $k$ 为

$$
r\log p(\mathbf z_\gamma^{(i)}\mid x^{(i)}=k)
=r\frac{\alpha_\gamma}{\sigma_\gamma^2}\mathbf e_k^\top\mathbf z_\gamma^{(i)}+\text{const}.
$$

系数 $r$ 在前 5000 步从 0 升至 1。这个偏置把单位置上已知的高斯去噪信息直接交给输出层；Transformer 仍可利用上下文修正候选概率。（Appendix C.1，PDF pp. 17–18，Eq. (44)）

## 三：实验——比较协议决定数字的含义

### 3.1 数据、模型与训练

| 配置 | LM1B | OWT |
| --- | --- | --- |
| 序列长度 | 128 | 1024 |
| tokenizer | bert-base-uncased | gpt2-large |
| 训练步数 / batch size | 1M / 512 | 1M / 512 |
| 主表生成步数 | 128 | 1024 |
| Gen. PPL 评价样本数 | 1024 | 1024 |
| LangFlow 训练硬件 | 4 张 NVIDIA RTX 6000 | 32 张 NVIDIA A100 |

共同设置为约 130M 参数的 DiT 风格 Transformer、RoPE、hidden size 768、12 heads；Sec. 5 和 Appendix C.1 均写 12 层。优化器 AdamW，学习率 $3\times10^{-4}$，2500 步学习率 warmup，之后保持常数；EMA decay 0.9999，bfloat16。（Sec. 5，PDF p. 9；Appendix C.1–C.2，PDF pp. 17–18）

**层数存在原文冲突**：Table 4（PDF p. 18）写的是 16 / 768，而同页 C.1 和正文写 12 层。本文按正文叙述介绍模型，但若重建配置，应对照作者实现确定层数。

### 3.2 三种指标分别回答什么

| 指标 | 测量对象 | 如何解读 |
| --- | --- | --- |
| 验证集 PPL | 模型为真实语料分配的概率 | 越低越好；扩散模型报告上界，AR 报告其似然对应 PPL |
| Gen. PPL | GPT-2 Large 为模型生成文本打分 | 越低表示参考模型认为更自然；不是生成器自身的 PPL |
| 样本熵 | 每段生成序列的经验 token 频率分布 | 描述词频多样性；不是模型分布熵，也不应单独最大化 |

样本熵先对每条序列的 token 计数归一化，再计算 $-\sum_v f_v\log f_v$。它会同时受到重复、主题词集中、序列长度和 tokenizer 的影响；适合在相同协议下与数据参照值比较。（Sec. 5，PDF p. 9；Appendix C.4，PDF p. 19）

### 3.3 baseline 的比较角色

AR 是标准从左到右建模的参照。MDLM 与 SEDD Absorb 代表强 masked/absorbing-state 扩散；UDLM、Duo、SEDD Uniform 代表 uniform-state 离散扩散；Plaid、Diffusion-LM、并行工作的 FLM 提供连续模型比较。

LM1B 中 AR、SEDD、MDLM、UDLM、Duo 和 Plaid 由作者重新训练；OWT 部分基线来自 Duo 代码库提供的 checkpoint，另一些结果来自文献。Plaid 保留原架构：108M 参数、嵌入维度 16，不能当作和 LangFlow 完全相同架构下的单因素消融。FLM 的 LM1B Gen. PPL 使用 1024 步，而其他主要比较行使用 128 步。零样本表中的 Plaid 和 D3PM Absorb 使用了 1.3M 训练步。（Sec. 5，PDF pp. 9–10；Tables 3–4）

## 四：结果——哪些证据支持哪些结论

### 4.1 调度和自条件：最关键的内部改进

Sec. 4.1 报告，改善噪声调度后 Gen. PPL 从约 1000 降至 154.2。这个结果体现调度的重要性，但正文没有提供与主表同样完整的独立比较表，适合视为设计分析中的粗粒度增益。（PDF p. 8）

Table 1 的 LM1B 消融更直接：

| 模型 / 设置 | Gen. PPL ↓ | PPL ↓ |
| --- | ---: | ---: |
| MDLM，无 SC | 103.9 | 31.0 |
| MDLM，有 SC | 94.9 | 32.7 |
| LangFlow，无 SC | 154.2 | 49.0 |
| LangFlow，有 SC | 81.5 | 30.0 |

来源：Sec. 4.2，PDF p. 8，Table 1。对 LangFlow，SC 同时降低两种困惑度，PPL 绝对降低 19.0，约为 38.8%；MDLM 的生成困惑度变好，但验证集 PPL 反而变差。这个结果说明，离散扩散评价中关闭 SC 的习惯不适合直接搬到连续模型。

这里的 **81.5** 与主表 Table 2 的 **92.2** 不同；Table 5 的 128 步结果为 **92.24**，与主表一致。原文没有交代两个 Gen. PPL 的协议差异。因此保留 81.5 作为该消融表的数值，使用 92.2 进行主模型跨方法比较。

![原图 4：自条件前后的 token 概率](figures/fig-04-self-conditioning.png)

来源：Fig. 4，PDF p. 20。横轴 $\gamma$ 越往右越嘈杂，纵轴是候选 token 概率；虚线为无 SC 的第一遍，实线为带 SC 的第二遍。真实 token 为 run：随噪声增加，概率由正确词向相关词，再向常见功能词转移。作者据此解释 SC 可能抑制向高频但语义较弱的候选漂移。这是一个位置的动态示例，机制解释的主要定量支撑仍是 Table 1。

### 4.2 域内语言建模：LM1B 领先，OWT 接近

| 模型 | LM1B PPL ↓ | LM1B Gen. PPL ↓ | OWT PPL ↓ | OWT Gen. PPL ↓ |
| --- | ---: | ---: | ---: | ---: |
| AR Transformer | 22.8 | 66.7 | 17.5 | 35.9 |
| MDLM | 31.0 | 103.9 | 23.2 | 104.9 |
| SEDD Absorb | 32.0 | 115.9 | 24.1 | — |
| Plaid | 32.4 | 77.3 | — | — |
| UDLM | 33.8 | 99.8 | 27.4 | — |
| Duo | 33.6 | 97.6 | 25.2 | 77.6 |
| FLM | — | 96.9* | — | 62.2 |
| **LangFlow** | **30.0** | **92.2** | **24.6** | **36.5** |

来源：Sec. 5，PDF p. 9，Table 2，选取关键行；所有扩散 PPL 为上界。*FLM 在 LM1B 使用 1024 采样步，其余这些扩散行使用 128 步；OWT 使用 1024 步。

LM1B 上，LangFlow 的 PPL 比 MDLM 低 1.0，约改善 3.2%，是表中扩散模型最佳；Gen. PPL 在扩散模型中仅次于 Plaid。OWT 上，LangFlow 的 PPL 排在 MDLM、SEDD Absorb 之后，差距分别为 1.4、0.5；其 Gen. PPL 则低于表中所有扩散模型，与 AR 仅差 0.6。

由此可以支持“连续扩散已具备竞争力”，但不能把 OWT 的 Gen. PPL 接近 AR 改写为“域内概率建模达到 AR”：后者的 PPL 是 17.5，仍明显低于 24.6。两种指标各自测量的对象不同。

### 4.3 零样本迁移：四项胜过 AR 指的是语料 PPL

所有模型先在 OWT 训练，再直接评价其他语料的困惑度；这里的 Lambada 也报告 PPL，并非末词预测准确率。

| 目标语料 | AR | MDLM | LangFlow | LangFlow 的比较结果 |
| --- | ---: | ---: | ---: | --- |
| PTB | 82.05 | 95.26 | **81.20** | 优于二者 |
| Wikitext | **25.75** | 32.83 | 32.28 | 优于 MDLM |
| LM1B | **51.25** | 67.01 | 68.21 | 不及二者 |
| Lambada | 51.28 | 47.52 | **46.93** | 优于二者 |
| AG News | **52.09** | 61.15 | 69.41 | 不及二者 |
| Pubmed | 49.01 | **41.89** | 46.74 | 优于 AR |
| Arxiv | 41.73 | **37.37** | 38.47 | 优于 AR |

来源：Sec. 5，PDF p. 10，Table 3；越低越好，扩散数值为上界。LangFlow 胜过 AR 的四项是 PTB、Lambada、Pubmed、Arxiv；胜过 MDLM 的三项是 PTB、Wikitext、Lambada。改善分布并不均匀，例如 AG News 仍明显落后。

### 4.4 CE 与 MSE：嵌入几何提供什么解释

![原图 3：不同模型的嵌入最近邻距离](figures/fig-03-embeddings.png)

来源：Fig. 3，PDF p. 19。横轴为将嵌入归一化到单位球面后的最近邻球面距离；每一行是一种模型的分布。图中均值分别为 AR 1.211、MDLM 1.124、LangFlow 0.877、Plaid 0.058。Plaid 的 token 向量之间更接近。

作者认为，MSE 联合更新嵌入时存在一种降低误差的捷径：不仅改好 token 概率，也让预测混合向量和目标嵌入互相靠近，收缩 token 间的距离。一个便于理解的局部推导是，暂时固定预测概率 $q$，令 $\mathbf r=\mathbf E^\top q-\mathbf e_x$，则

$$
\frac{\partial\|\mathbf r\|^2}{\partial\mathbf e_k}
=2(q_k-\mathbf1_{k=x})\mathbf r.
$$

这个式子只展示经过嵌入加权和与目标的直接梯度路径，并不包含 $q$ 对嵌入的间接依赖。CE 直接监督正确 token 的概率，避免把“缩短向量距离”本身当作主要任务目标。（Appendix C.3，PDF pp. 18–19，Eqs. (45)–(46)）

Fig. 3 是跨模型观察：Plaid 的嵌入维度为 16，其余为 768，架构也有区别。因此它支持作者对表示收缩的担忧，但没有单独隔离 MSE 的因果作用；“换 CE 必然避免所有嵌入退化”超出了这些证据。

### 4.5 减少采样步数：质量仍随预算显著变化

LM1B 上，同一个 LangFlow checkpoint 未经蒸馏，减少步骤的结果如下：

| 论文标注 NFE | Gen. PPL ↓ | 样本熵 |
| ---: | ---: | ---: |
| 128 | 92.24 | 4.31 |
| 64 | 104.83 | 4.32 |
| 32 | 127.32 | 4.33 |
| 16 | 179.60 | 4.35 |

来源：Appendix D.2，PDF p. 20，Table 5；数据熵 4.32。步数从 128 降到 16 后，Gen. PPL 约为原来的 1.95 倍，词频熵却变化不大。

OWT 上与两种关键基线的比较为：

| 论文标注 NFE | LangFlow Gen. PPL ↓ | LangFlow 熵 | Duo Gen. PPL ↓ | MDLM Gen. PPL ↓ |
| ---: | ---: | ---: | ---: | ---: |
| 1024 | 36.53 | 5.25 | 77.69 | 104.85 |
| 512 | 41.52 | 5.31 | 78.14 | 104.43 |
| 256 | 49.24 | 5.37 | 78.62 | 112.70 |
| 128 | 60.09 | 5.43 | 80.02 | 120.77 |
| 64 | 80.34 | 5.51 | 85.62 | 143.88 |

来源：Appendix D.2，PDF p. 21，Table 6，节选；数据熵参照值 5.44，离散基线来自 Duo 文献。LangFlow 在这些预算下都优于所列离散比较模型，但降到 64 步后与 Duo 的差距明显缩小。在 128 步时，其熵 5.43 接近数据参照值，Gen. PPL 仍优于表内离散基线。

原文将这些预算标为 NFE，但 Algorithm 2 在 $N$ 次积分前向后还增加一次最终解码前向。因此这里保留论文的预算标签；计算严格网络调用数时应核实末次前向是否计入。论文没有给出相应的端到端延迟对比，步数也不能直接换算成相对 AR 的速度提升。

### 4.6 样本熵与实例：生成自然度还需看局部内容

OWT 的 1024 步 LangFlow 样本熵为 5.25，低于数据参照 5.44，也低于 Table 6 中的离散基线。作者认为一部分差距来自跨句分布的主题词反复出现：Table 7 中，展示的 LangFlow 样本里 health 出现 11 次，样本熵为 5.3375；MDLM 实例中 Mitchell 出现 13 次，熵为 5.2111。这张表描述所选实例，不是对 1024 条样本重复率的总体统计。（PDF p. 21，Table 7）

附录展示的 LangFlow OWT 样本能形成局部主题，但仍有造词、语法错误、语义矛盾和话题跳转；其他模型的展示样本也存在缺陷。部分跨段跳转还与 packed 文本设定有关。因此这些例子更适合说明“单个词频熵无法完整描述文本质量”，而不足以单独确认低熵完全不影响语义连贯性。（Appendix D.3，PDF pp. 21–30；OWT 的 LangFlow 实例始于 p. 26）

## 五：结论——这篇论文最值得带走什么

**第一，离散监督与连续生成可以清楚衔接。** 每个位置的 token 后验一旦学好，其嵌入期望就给出流所需的去噪均值。这个桥梁让模型能够用熟悉的 CE 训练，同时保留连续状态的演化。

**第二，噪声预算应与任务的信息几何匹配。** 对有限 token 嵌入，容易恢复的区域可能很大；按后验熵变化集中分配步骤，比照搬均匀时间调度更有针对性。Gumbel 的意义在于贴合本文观察到的曲线，而不是一种脱离数据的普遍最优分布。

**第三，自条件及其评价协议足以改变连续扩散的排名。** Table 1 的改进很大，表明应把它视为方法的一部分。相应地，带 SC 的历史状态如何进入 ODE 似然计算，是复现时需要仔细对齐的环节。

在约 130M 参数、LM1B/OWT 和有限长度的实验范围内，LangFlow 提供了连续扩散具备强竞争力的证据。进一步工作的重点是：将当前质量保持到更大模型与更长上下文；把确定性轨迹的蒸馏潜力转化为实际少步质量和延迟收益；在改善 Gen. PPL 的同时更直接地测量连贯性、重复和多样性。原文报告的低样本熵及部分配置冲突，也应在这些后续比较中得到澄清。