# Consistent Diffusion Language Models：中文研读笔记

**作者**：Hasan Amin、Yuan Gao、Yaser Souri、Subhojit Som、Ming Yin、Rajiv Khanna、Xia Song。前两位共同第一作者；机构为 Purdue University 与 Microsoft。  
**版本**：arXiv:2605.00161v2，2026-05-30 修订；论文标注 ICML 2026。  
**研读与获取日期**：2026-10-13。  
**原文**：[arXiv 页面](https://arxiv.org/abs/2605.00161v2) · [本地 PDF](../source/paper.pdf) · [英文汇报幻灯片](slides.en.pdf)。下文页码均为从 1 开始的 PDF 页码，与本文印刷页码一致。

## 论文总览

离散扩散语言模型可以同时更新多个 token，但若生成一段文本仍要运行数百次网络，并行性的收益就会受到限制。CDLM（Consistent Diffusion Language Model，一致扩散语言模型）尝试把“适合大步去噪”直接写进从零训练的目标：给同一条训练文本制造较脏和较干净的两个状态，让它们对原始 token 的预测保持一致。

关键在于如何制造这对状态。作者采用离散扩散已知的**精确后验桥** $q(\mathbf x_s\mid\mathbf x_t,\mathbf x_0)$，提出多路径离散一致性（Multi-Path Discrete Consistency，MPDC）：从噪声状态直接预测，与先沿真实反向链跳到较干净状态再预测，应当在条件期望上相同。CDLM 将这一原则实现为带目标网络、JSD 损失、跨时间步训练和干净数据锚点的单阶段训练方法。[Sec. 3，pp. 4–6]

在 110M 参数、OpenWebText、1024-token 生成设置中，FP64 采样的 MCDLM–PPLOptimized 在 64 步达到生成 PPL **40.1**、熵 **5.3**，对应 MDLM 为 **124.4 / 5.6**；AR 基线在 1024 次顺序生成处为 **40.2 / 5.6**。这是明显的生成质量—调用次数改进，同时存在熵的取舍。实验采用外部 `gpt2-large` 评价生成文本，每个模型生成 32 条样本；这些数字不是模型自身的测试集似然，也不是实测延迟。[Table 1，p. 7]

理解本文要同时抓住两层：**后验桥与条件期望提供数学结构，JSD、数据锚点和调度决定实际训练是否有效。** 后面的理论证明与消融结果分别支撑这两层，不能把它们合并成“实际训练已被证明能精确恢复完整文本分布”。

## 结构地图

| 原文章节 | 主要作用 | PDF 定位 |
|---|---|---|
| 1. Introduction | 少步生成动机；MPDC 的定位 | pp. 1–3；Fig. 1–2 |
| 2. Problem Setup | 离散前向链、后验、连续 PF-ODE 背景 | p. 3 |
| 3.1 Learning a Path-Independent Denoiser | 后验桥、一致性算子、Bayes 不动点、训练与采样 | pp. 4–5；Eq. (2)–(6) |
| 3.2 Design Insights for Stable and Scalable Training | 步长课程、max-step 数据锚点、EMA 与 JSD | p. 5；Eq. (7) |
| 3.3 A Unifying View of Discrete Generative Modeling | 与 MDLM、连续一致性及蒸馏的联系 | pp. 5–6 |
| 4.1 Related Baselines and Model Categorization | 单阶段模型与蒸馏模型；4.1.1 引出无条件生成 | p. 6 |
| 4.2 Experimental Setup | 模型规模、训练预算和变体配置 | pp. 6–7 |
| 4.3 Results and Analysis | 无条件生成及 4.3.1 条件恢复 | pp. 7–8；Table 1–3 |
| 4.4 Ablations and Insights | 调度、数据锚点与散度的作用 | pp. 8–9；Table 4–6 |
| 5. Discussion and Conclusion | 少步而非一步的目标；离散领域扩展 | p. 9 |
| A. Related Work；B. Algorithms | 相关路线与 CD3T / M-CDLM 算法 | pp. 12–14；Algorithm 1–2 |
| C. From Local to Global Consistency | TV 误差累积与 excess-risk 分析 | pp. 12–15 |
| D. Rigorous Unification of Discrete Generative Models | 各种统一关系的推导 | pp. 15–18 |
| E. Additional Proofs | 后验桥与 Bayes 不动点证明 | pp. 18–20 |
| F. Additional Results | 实现、FP32、MAUVE、生成样例 | pp. 20–24；Table 7–8 |

## 一：动机——把少步能力变成训练目标

自回归模型依次生成 token；扩散模型通过反复去噪更新多个位置，理论上可用较少轮次生成长序列。然而，一个擅长小步修正的去噪器，直接换成大步采样时，质量可能显著下降。因此问题不只在采样器，也在训练是否让模型接触了跨越较大噪声间隔的任务。

连续一致性模型沿概率流常微分方程（probability-flow ODE，PF-ODE）构造确定性轨迹，并要求轨迹上不同点给出一致的干净预测。离散 token 的变化是随机跳转；在原始类别样本空间中，没有相同形式的连续确定性轨迹可直接套用。这里的障碍针对**样本空间里的 PF-ODE 路线**，不排斥在概率空间写演化方程或引入连续潜变量。[Sec. 2，p. 3]

CDLM 的切入点是：不必先构造一条确定性轨迹，已知扩散过程本身就能提供不同噪声状态之间的条件分布。训练时利用真实文本，能精确采样这些随机连接，从而绕开预训练教师的多步 rollout。

![原文 Fig. 1：量化二维 moons 数据，第一行为 masked diffusion，第二行为 CDLM](figures/fig-01-moons.png)

原文 Fig. 1，p. 1。横向六个面板依次为 1、2、3、5、10、30 步，图内横纵轴是量化后的二维坐标。CDLM 在 2–3 步时已呈现较清楚的双月结构；普通 masked diffusion 随更多步数逐渐变清晰。这是离散化玩具数据上的机制示意，文本实验的质量需另看后面的指标与样例。

## 二：方法——精确连接状态，学习期望一致性

### 2.1 符号与前向过程

| 符号 | 含义 |
|---|---|
| $\mathbf x_0\in\mathcal V^L$ | 长度为 $L$ 的干净 token 序列，词表为 $\mathcal V$ |
| $\mathbf x_t$、$\mathbf x_s$ | 噪声水平 $t$、$s$ 的序列，$0\le s<t\le1$ |
| $Q_t\in\mathbb R^{\lvert\mathcal V\rvert\times\lvert\mathcal V\rvert}$ | 单 token 的行随机转移矩阵 |
| $Q_{a:b}$ | 按时间相乘的转移矩阵，描述一个时间区间 |
| $\delta=t-s$ | 本次训练跨越的噪声间隔 |
| $f_\theta(\mathbf x_t,t)_i$ | 第 $i$ 个位置的干净 token 概率向量 |
| $\mathcal M(\mathbf x_t)$ | 参与损失的位置；masked 扩散为 mask 位置，uniform 扩散为全部位置 |
| $\tilde\theta$、$\mathrm{sg}$ | 目标网络参数与 stop-gradient |
| $\kappa_{\rm ms}$ | 最大步长任务即干净数据锚点的混合权重 |

文中把 token 与其 one-hot 行向量共用记号。前向过程在给定干净文本后逐位置独立：

$$
q(\mathbf x_t\mid\mathbf x_0)
=\prod_{i=1}^L \operatorname{Cat}(x_t^i;x_0^iQ_{1:t}).
$$

这一独立性属于**腐化过程**。真实文本位置之间可以有关联，网络也能读取整条噪声序列；将干净文本边缘化之后，真实反向链一般不会逐位置独立。[Sec. 2，p. 3]

### 2.2 后验桥怎样计算

给定干净 token $x_0^i$ 与较脏的 $x_t^i$，中间状态 $x_s^i$ 的分布由 Bayes 公式得到：

$$
q(x_s^i\mid x_t^i,x_0^i)
=\operatorname{Cat}\!\left(
x_s^i;
\frac{(x_0^iQ_{1:s})\odot(x_t^iQ_{s+1:t}^{\mathsf T})}
{\langle x_0^iQ_{1:t},x_t^i\rangle}
\right).
$$

分子的第一项是“从干净 token 走到各个候选中间 token”的先验概率，第二项是“该中间 token 能产生已观察到的 $x_t^i$”的似然；分母是归一化常数。公式在前向过程有正概率产生的观测上使用。序列级 oracle bridge 是这些位置分布的乘积。[Lemma 3.1，Eq. (2)，p. 4；Appendix E.1，pp. 18–19]

对于 $u<s<t$，后验桥满足组合关系：

$$
q(\mathbf x_u\mid\mathbf x_t,\mathbf x_0)
=\sum_{\mathbf x_s}
q(\mathbf x_u\mid\mathbf x_s,\mathbf x_0)
q(\mathbf x_s\mid\mathbf x_t,\mathbf x_0).
$$

这说明直接走 $t\to u$，与先走 $t\to s\to u$ 再边缘化中间状态，得到相同的条件分布。**这里相同的是分布，不要求两条随机路径逐样本相同。** 后验桥公式继承已有离散扩散结构；本文的新意是利用它定义跨路径训练目标。

对于线性 masked 扩散，时刻 $t$ 以概率 $t$ 将 token 替换为 `[MASK]`。后验桥尤其简单：

$$
q(x_s^i\mid x_t^i,x_0^i)=
\begin{cases}
\delta_{x_t^i}, &x_t^i\ne[\mathrm{MASK}],\\
\dfrac{t-s}{t}\delta_{x_0^i}+\dfrac{s}{t}\delta_{[\mathrm{MASK}]},
&x_t^i=[\mathrm{MASK}].
\end{cases}
$$

这里 $\delta_a$ 表示集中在状态 $a$ 上的点质量分布，与步长 $\delta=t-s$ 按上下文区分。即已显露的位置保持不变，仍被遮盖的位置以 $(t-s)/t$ 的概率恢复真实 token。[Algorithm 2，p. 14]

**教学例子**：取 $t=0.8,s=0.4$，文本为“猫 坐 垫”，当前状态为“`[MASK]` 坐 `[MASK]`”。桥会独立地以 $0.5$ 概率恢复每个被遮盖的位置，可能得到“猫 坐 `[MASK]`”“`[MASK]` 坐 垫”等。这些较干净状态都来自同一条真实文本，但模型在较脏输入处需要学习的是对这些随机目标的统计预测。

### 2.3 MPDC 的对象是每个位置的后验边缘

先将未知的干净文本边缘化，定义真实反向转移：

$$
p(\mathbf x_s\mid\mathbf x_t)
=\mathbb E_{\mathbf x_0\sim p(\mathbf x_0\mid\mathbf x_t)}
\left[q(\mathbf x_s\mid\mathbf x_t,\mathbf x_0)\right].
$$

一致性算子逐位置取较干净预测的条件期望：

$$
[\mathcal C_{s\leftarrow t}g](\mathbf x_t,t)_i
=\mathbb E_{\mathbf x_s\sim p(\cdot\mid\mathbf x_t)}
[g(\mathbf x_s,s)_i].
$$

理想条件是 $f^*=\mathcal C_{s\leftarrow t}f^*$，并满足干净边界 $f^*(\mathbf x_0,0)_i=\delta_{x_0^i}$。其 Bayes 不动点为

$$
f^*(\mathbf x_t,t)_i=p(x_0^i\mid\mathbf x_t).
$$

证明的核心是 Markov 条件独立性与全期望公式：经过 $\mathbf x_s$ 对 $x_0^i$ 的预测再取条件平均，仍等于直接给定 $\mathbf x_t$ 的后验。加入正权重的数据边界、并采用前向 KL / 交叉熵这类能识别算术均值的评分规则，支撑论文关于 Bayes 解可识别性的论述。没有数据锚点时，处处输出同一个分布也能满足自一致性。[Definition 3.2–3.3、Proposition 3.4，p. 4；Appendix E.2，pp. 19–20]

这套结论针对 **per-token posterior marginal**。把这些边缘相乘，一般得不到真实联合后验 $p(\mathbf x_0\mid\mathbf x_t)$。例如，假设真实二 token 序列仅为 `AA` 或 `BB`，各占一半：从全 mask 出发，每个位置的正确边缘都是 $A/B$ 各半；独立一步采样却会给 `AB` 和 `BA` 总计一半概率。多轮去噪允许后续预测利用已生成的 token，逐渐建立跨位置关系。这是本文定位少步生成的关键原因。[教学解释；对应 Sec. 3.1，p. 4 与 Sec. 5，p. 9]

### 2.4 实际训练：桥样本、JSD、目标网络与数据锚点

训练先抽取 $\mathbf x_0\sim p_{\rm data}$，再生成 $\mathbf x_t$，最后通过 oracle bridge 抽取 $\mathbf x_s$。这样的样本对具有正确的真实联合边缘分布 $p(\mathbf x_t,\mathbf x_s)$，因此训练时不需要显式计算未知的 $p(\mathbf x_0\mid\mathbf x_t)$。

将目标网络加上停止梯度，Eq. (6) 的实际含义为

$$
\mathcal L_{\rm CDLM}
=\mathbb E\left[
\sum_{i\in\mathcal M(\mathbf x_t)}
\frac1\delta\,
\mathbb D\left(
f_\theta(\mathbf x_t,t)_i\,\middle\|\,
\mathrm{sg}[f_{\tilde\theta}(\mathbf x_s,s)_i]
\right)\right].
$$

M-CDLM 使用 Jensen–Shannon 散度（JSD）：

$$
\operatorname{JSD}(P,Q)
=\tfrac12\operatorname{KL}(P\|M)
+\tfrac12\operatorname{KL}(Q\|M),\qquad M=\tfrac12(P+Q).
$$

目标网络使用 EMA 更新：$\tilde\theta\leftarrow\lambda\tilde\theta+(1-\lambda)\theta$。停止梯度让在线网络追踪相对稳定的目标，避免两边同时改变而过早达成无信息的一致。[Sec. 3.1–3.2，pp. 4–5；Algorithm 2，p. 14]

稳定化设计有三部分：

1. **跨步长训练**：抽取不同的 $\delta=t-s$，让同一个网络练习不同跨度的恢复任务。$1/\delta$ 是作者采用的路径长度归一化权重；实际步长分布和课程也会影响训练重点。
2. **max-step 数据锚点**：以权重 $\kappa_{\rm ms}$ 加入 $s=0$ 的任务，此时目标就是干净 token，提供不依赖当前模型的监督。
3. **JSD 与慢目标网络**：在从零训练时平衡前向 KL 的高方差问题与反向 KL 的寻模倾向。

总目标为

$$
\mathcal L_{\rm final}
=(1-\kappa_{\rm ms})\mathcal L_{\rm CDLM}
+\kappa_{\rm ms}\,
\mathbb E\left[\frac1t\sum_{i\in\mathcal M(\mathbf x_t)}
\mathbb D\big(f_\theta(\mathbf x_t,t)_i\|\delta_{x_0^i}\big)\right].
$$

这是 Eq. (7) 按位置展开后的写法。实现可以通过混合抽样 max-step 任务得到相同的期望目标。[p. 5；Appendix B，p. 12]

### 2.5 “目标样本无偏”与“损失无偏”需要分开

理想 Eq. (5) 把期望放在散度内部；实际 Eq. (6) 对每次抽到的目标计算散度，再平均。设较脏状态处的在线预测为 $Q$，较干净状态的随机目标为 $P$，两者分别对应

$$
\mathbb D(Q,\mathbb E[P])
\quad\text{与}\quad
\mathbb E[\mathbb D(Q,P)].
$$

正确抽取 bridge 样本保证 $P$ 的条件平均正确，但不能对任意非线性散度直接交换期望与散度。对于固定的目标分布、且方向为 **目标到预测** 的前向 KL，有

$$
\mathbb E[\operatorname{KL}(P\|Q)]
=\mathbb E[\operatorname{KL}(P\|\bar P)]
+\operatorname{KL}(\bar P\|Q),\qquad\bar P=\mathbb E[P].
$$

第一项与 $Q$ 无关，因此最优 $Q$ 是算术均值 $\bar P$；JSD 通常不具备同样的均值识别性质。原文 Appendix C 明确把 excess-risk 推导放在理想化的前向 KL 情形，实际算法则使用 JSD。[pp. 14–15]

**一个用于理解差异的自构例子**：随机目标以 $0.9$ 概率为 $(1,0)$，以 $0.1$ 概率为 $(0,1)$。前向 KL 的最优预测是 $(0.9,0.1)$；最小化期望 JSD 的最优第一维概率约为 $0.998$。这个简单例子说明，JSD 的训练稳定性不能自动解释为后验概率的无偏估计。

因此应把本文的理论理解为“真实反向链上的理想一致性结构”，把 JSD 配方理解为有消融支持的实用优化选择。类似地，max-step 任务要在前向 KL / 交叉熵和相应时间权重下才严格恢复 MDLM 的 NELBO；仅把 JSD 配方的 $\kappa_{\rm ms}$ 设为 1，并不能据此认定目标与 MDLM 完全相同。[Proposition D.1，pp. 15–16]

### 2.6 训练与推理怎样衔接

以下是按原文整理的教学伪代码，突出数据锚点与桥的作用：

```text
初始化在线网络 θ 与目标网络 θ̃
循环训练：
    从数据集取干净序列 x0
    按调度选择有效时间对 0 ≤ s < t ≤ 1
    以 κ_ms 的权重采用 s = 0 的 max-step 任务
    xt ~ q(xt | x0)
    xs ~ q(xs | xt, x0)
    在线预测 Q = fθ(xt, t)
    目标 P = x0（s=0）；否则为 stop_gradient(fθ̃(xs, s))
    在规定位置计算加权散度，更新 θ
    按 EMA 或变体规定的硬更新策略更新 θ̃
```

推理时没有真实 $\mathbf x_0$。模型先输出干净 token 概率，再用已有的祖先采样规则构造下一时刻。对于 masked 情形，一个尚被遮盖的位置可写为

$$
p_\theta(x_s^i\mid\mathbf x_t)
=\frac{s}{t}\delta_{[\mathrm{MASK}]}
+\frac{t-s}{t}f_\theta(\mathbf x_t,t)_i;
$$

已显露 token 保留不变。每次网络读取当前整条序列，下一轮利用新增的上下文继续预测。CDLM 改变的是训练目标，推理兼容既有采样器；训练间隔 $\delta$ 与推理总步数是不同的超参数。[Sec. 3.1 Sampling，p. 5；masked 公式由 Algorithm 2 的桥代入预测边缘得到]

这里的“无教师”准确含义是**不需要预先训练好的独立教师模型**，训练中仍有作为监督目标的 EMA / 硬更新网络。

### 2.7 局部误差如何累积，统一视角有多强

附录 C 在真实反向链上考虑网格 $1=\tau_K>\cdots>\tau_0=0$。若每条相邻边对条件期望目标的平均总变差距离（TV）不超过 $\varepsilon$，则

$$
\mathcal E(K,m)\le(K-m)\varepsilon.
$$

证明使用真实反向链的组合性、TV 的三角不等式与凸性，递推得到 $\mathcal E(k,m)\le\varepsilon+\mathcal E(k-1,m)$。前向 KL 的 excess-risk 分解再给出

$$
\varepsilon\le\sqrt{\tfrac12\mathbb E[\mathcal E_{\rm opt}]},
\qquad
\mathcal E(K,0)\le K\sqrt{\tfrac12\mathbb E[\mathcal E_{\rm opt}]}.
$$

这里需要各局部边有相应的统一风险控制。界控制的是**真实反向链下预测的跟踪误差**；推理使用的是学习出的采样转移，因而还需要额外分析才能把它转化为整个生成联合分布的误差界。[Lemma C.1、Remark C.2，pp. 12–15]

| 相关路线 | 与 CDLM 的关系 | 解读强度 |
|---|---|---|
| MDLM | $s=0$、前向 KL / CE、$-\alpha'_t/(1-\alpha_t)$ 权重；线性 masking 时为 $1/t$ | 明确条件下的目标等价 |
| 连续一致性模型 | 把确定性 ODE coupling 换成随机 bridge coupling | 训练结构的随机对应；小时间间隔本身不会把类别空间变成连续 ODE |
| Progressive Distillation / Shortcut Models | 大步与小步组合相容；CDLM 的已知桥可解析边缘化中间状态 | 组合约束上的联系，不意味着不同领域的目标逐项相同 |
| SDTT | 以教师预测与 rollout 近似真实数据诱导的 coupling | 理想教师极限下的联系 |
| DUO-DCD | 共享连续潜噪声后投影为离散状态，产生不同的时间 coupling | 描述了耦合结构差异，尚不足以单独证明低熵的因果来源 |

来源：Sec. 3.3，pp. 5–6；Appendix D，pp. 15–18。正文对 DUO-DCD 耦合与低熵的联系使用假设性表述，附录 D.5 的措辞更强。本文将其视为机制解释假说；实验没有单独控制 coupling、散度与 greedy sampler 来识别这条因果链。

## 三：实验——预算、比较对象与指标

### 3.1 基本设置与各变体

主体模型为约 110M 参数的 Transformer，在 OpenWebText 训练 150K 步，全局 batch size 为 2048；附录报告典型训练使用 64–256 张 A100。基线大体统一模型规模、数据和更新步数，蒸馏路线按预训练加蒸馏分配 150K 步。AR 训练 75K 步，作者称这样匹配其统计的已见 token 数。相同更新步数不代表相同 FLOPs：CDLM 有目标前向计算，蒸馏方法还有教师 rollout。[Sec. 4.2，pp. 6–7；Appendix F.1，p. 20]

| 变体 | 调度与训练配置 | 目的 |
|---|---|---|
| MCDLM | $\delta$ 随机抽取范围 $[1/8,5/8]$；$\kappa_{\rm ms}=0.4$；EMA $\lambda=0.999$ | 基础 masked CDLM |
| MCDLM–PPLOptimized | 前 100K 步同上；后期将步长上界逐渐缩至 $3/8$，锚点权重降至 0.2；100K 起改为每 10K 步硬更新目标 | 用一定熵损失换更低生成 PPL |
| UCDLM | uniform 腐化；步长从 0.125 线性增加至 0.375，其余配置按文中说明对齐 | 检验方法能否超出 masked 核 |
| MCDLM + SDTT | 100K 步 MCDLM 基础训练 + 50K 步蒸馏 | 检验 CDLM 能否作为更好的教师起点 |

原文给出了步长范围，但算法伪代码对时间 $t$ 的采样、边界约束等细节较简略；复现时必须保证 $s=t-\delta\ge0$，不能直接把独立抽取的任意 $t,\delta$ 生硬相减。

### 3.2 baseline 的比较角色

MDLM 是 masked 扩散的标准单阶段 NELBO 基线；UDLM 是 uniform 扩散基线；DUO 使用连续 Gaussian 与离散类别之间的联系改进 uniform 路线。SDTT 在 MDLM 预训练后进行自蒸馏；DUO-DCD 在 DUO 基础上进行一致性蒸馏，同时报告祖先与 greedy 采样。把单阶段 CDLM 和蒸馏路线分开比较，才能看清“没有独立预训练教师”的意义。[Sec. 4.1，p. 6]

### 3.3 评价任务与指标

- **无条件生成**：长度 1024 tokens，每模型生成 32 条样本，由 `gpt2-large` 计算生成困惑度 PPL，越低越好。它评价外部模型对生成文本的可预测性，重复文本也可能获得很低的值。
- **生成熵**：与 PPL 同时报告，辅助识别多样性损失；作者以熵低于 5 作为容易出现重复字符的经验性提示。熵也不能单独越高越好，近乎随机的输出可以有高熵。
- **条件生成**：每个数据集随机取 32 条、每条 1024 tokens，将 50% token 按模型先验扰动，恢复原文本。OpenWebText 为域内，Lambada、WikiText-103、PTB 为域外。这主要是部分腐化后的恢复任务，不能直接等同于自由指令跟随。
- **BLEU2**：与原始文本比较二元片段重合，越高越好；辅助反映恢复质量及条件保持，但不是严格的逐位置约束满足率。
- **MAUVE**：比较生成与参考的分布，越高越好；本实验部分数据集已经饱和，PTB 的情况则不同。
- **NFE**：模型函数评估次数，用于比较迭代轮数；FP32 / FP64 指表中采样精度，跨精度的数值应分别阅读。

协议与指标来源：Sec. 4.3，pp. 7–8；Appendix F.2–F.3，pp. 20–21。评价样本只有 32 条，表格未配置信区间，因而较小差值不宜作过强排序解释。

## 四：结果——改进在哪里，代价是什么

### 4.1 Masked 无条件生成：标准模型与 PPL 优化变体均有效

下表摘取原文 Table 1，全部使用 FP64 祖先采样；单元格为 **PPL↓ / 熵**。

| 模型 | 8 步 | 16 步 | 64 步 | 1024 步 |
|---|---:|---:|---:|---:|
| MDLM | 682.7 / 5.9 | 297.1 / 5.6 | 124.4 / 5.6 | 97.7 / 5.6 |
| MCDLM | 246.9 / 5.6 | 125.6 / 5.4 | 67.7 / 5.6 | 53.4 / 5.5 |
| MCDLM–PPLOptimized | 132.1 / 5.2 | 71.6 / 5.3 | 40.1 / 5.3 | 33.8 / 5.4 |
| MDLM + SDTT | 134.0 / 5.3 | 76.0 / 5.4 | 40.1 / 5.3 | 31.2 / 5.4 |
| MCDLM + SDTT | 105.0 / 5.3 | 57.5 / 5.1 | 35.3 / 5.3 | 27.1 / 5.2 |

Table 1，p. 7。前三行是 150K 步单阶段训练，后两行是 100K + 50K。

基础 MCDLM 已在所有列优于 MDLM；64 步的两者熵均为 5.6，PPL 从 124.4 降到 67.7。这说明改进并不全部依赖 PPL 优化变体降低多样性。PPL 优化变体进一步降低了 PPL，例如 16 步相对 MDLM 从 297.1 到 71.6，降低约 **75.9%**，但熵也从 5.6 降至 5.3。

单阶段 PPL 优化变体与 SDTT 在少步区间接近或略优，64 步相同；到 1024 步，SDTT 的 PPL 31.2 优于其 33.8。因此“可与蒸馏竞争”成立，“所有预算都胜过蒸馏”不成立。以 MCDLM 作为 SDTT 起点又能继续改进，支持一致性预训练与后续蒸馏互补。[Sec. 4.3，p. 7]

### 4.2 加速结论应怎样读

作者报告相对 MDLM 的 64×–128× 加速、相对 AR 的 16×–32× NFE 减少，并明确没有报告 wall-clock latency。用主表中容易定位的具体点来看：

| 对照 | CDLM 对应点 | 能直接读出的结论 |
|---|---|---|
| FP64 MDLM：1024 步，97.7 / 5.6 | PPL 优化变体：16 步，71.6 / 5.3 | PPL 更低，NFE 为 1/64，熵也较低 |
| FP64 AR：1024 NFE，40.2 / 5.6 | PPL 优化变体：64 步，40.1 / 5.3 | 近似匹配生成 PPL，NFE 为 1/16 |
| FP32 AR：1024 NFE，39.9 / 5.4 | PPL 优化变体：32 步，42.4 / 5.3；64 步，35.1 / 5.2 | 32–64 步区间达到接近或更低 PPL，存在熵差异 |

来源：Table 1，p. 7；Table 7，p. 20。主表可直接展示上述 64× 与 16× 对应点，但没有给出一个同样清晰的 128×、同等质量阈值对照。实际服务延迟还取决于每轮全序列计算、AR 的 KV cache、batch 和硬件；报告的 NFE 比例不能直接作为部署吞吐倍数。

### 4.3 Uniform 扩散：收益并不限于 mask

下表摘取 Table 2，FP64；“祖先”与“greedy”各按同类采样器比较。

| 模型 | 4 步 PPL / 熵 | 64 步 PPL / 熵 | 1024 步 PPL / 熵 |
|---|---:|---:|---:|
| UDLM，祖先 | 516.6 / 5.5 | 87.6 / 5.6 | 84.0 / 5.4 |
| DUO，祖先 | 514.4 / 5.6 | 85.1 / 5.4 | 85.4 / 5.6 |
| UCDLM，祖先 | 377.3 / 5.2 | 81.0 / 5.5 | 71.7 / 5.3 |
| DUO + DCD，祖先 | 408.3 / 5.6 | 80.2 / 5.5 | 75.6 / 5.5 |
| UCDLM，greedy | 110.4 / 4.8 | 64.7 / 5.5 | 57.0 / 5.2 |
| DUO + DCD，greedy | 118.4 / 3.9 | 65.5 / 5.4 | 58.5 / 5.1 |

Table 2，p. 8。UCDLM 的祖先采样在所有报告步数都优于 UDLM 和 DUO，但相对 DUO + DCD 并非每列都胜：64 步为 **81.0 对 80.2**。这与 Sec. 4.3 “无论采样器都严格更优”的概括存在一个表格例外，阅读时应以具体数值为准。

Greedy UCDLM 在表内各步数的 PPL 均低于 greedy DUO-DCD；不过 4 步 UCDLM 的熵也只有 4.8，仍触发作者的低熵提示。DUO-DCD 的 3.9 更低，因此不能只用其 118.4 的低 PPL 判断语言生成质量。

### 4.4 条件恢复：域内与三个域外数据集

以下摘取 64 步结果，FP64；单元格为 **PPL↓ / BLEU2↑**。

| 模型 | OpenWebText | Lambada | WikiText-103 | PTB |
|---|---:|---:|---:|---:|
| MDLM | 40.4 / 61.1 | 62.9 / 57.7 | 39.6 / 62.2 | 220.0 / 50.7 |
| SDTT | 30.8 / 62.5 | 46.4 / 59.3 | 30.5 / 63.7 | 125.4 / 52.4 |
| MCDLM–PPLOptimized | 28.6 / 62.9 | 38.8 / 60.1 | 27.3 / 64.4 | 107.5 / 53.3 |

Table 3，p. 8。CDLM 相对 SDTT 在四个数据集、8/64/512 三种步数下均有更低 PPL 与更高 BLEU2。以 PTB 64 步为例，PPL 降低约 **14.3%**，BLEU2 增加 **0.9 分**；这是相对百分比与分数差的两种口径。

DUO-DCD greedy 在该恢复协议下常出现低 BLEU2：例如 PTB 64 步的 PPL 为 45.0，看似很好，BLEU2 却仅 19.3，远低于 CDLM 的 53.3。这说明流畅性与保留输入内容是不同目标。作者将其归因于 uniform 过程允许任意替换 token；实验支持的是**当前条件注入和采样设置下的失配**，不能据此断言所有 uniform 模型都无法通过固定条件位置等设计完成条件生成。[Sec. 4.3.1，p. 8]

### 4.5 消融：哪些设计决定质量与多样性

**步长调度。** Table 4 的结果如下，单元格为 PPL / 熵：

| 调度 | 8 步 | 64 步 | 1024 步 |
|---|---:|---:|---:|
| 随机 | 110.6 / 5.3 | 32.8 / 5.3 | 19.7 / 5.2 |
| 分阶段递增 | 160.8 / 5.2 | 45.1 / 5.3 | 25.3 / 5.2 |
| 线性递增 | 117.6 / 5.5 | 37.9 / 5.4 | 17.9 / 4.9 |
| 线性递减 | 112.3 / 5.1 | 32.1 / 5.2 | 20.5 / 5.2 |

Table 4，p. 9。线性递减相对线性递增在 8、64 步更好，线性递增在 1024 步 PPL 更低但熵降至 4.9。随机调度的 8 步 PPL 仍略好于线性递减，因此结论是调度改变预算偏好，没有一个调度在全部指标上支配其他配置。

**数据锚点。** 消融清楚展示了仅看 PPL 会得出错误选择：

| $\kappa_{\rm ms}$ | 8 步 PPL / 熵 | 64 步 PPL / 熵 | 1024 步 PPL / 熵 |
|---|---:|---:|---:|
| 0 | 16.7 / 3.2 | 7.1 / 3.4 | 5.7 / 2.8 |
| 0.4 | 110.6 / 5.3 | 32.8 / 5.3 | 19.7 / 5.2 |
| 1.0 | 274.0 / 5.5 | 75.1 / 5.5 | 38.4 / 5.3 |

Table 5，p. 9。去掉锚点后 PPL 极低，熵却严重下降；增加干净监督能阻止这种自一致性捷径。过高权重又减少了跨噪声预测匹配的比重，生成 PPL 上升。这既呼应可识别性动机，也说明实际超参数在质量与多样性之间调节。

**散度。** Table 6 给出的 64 步结果为：

| 散度 | PPL↓ | 熵 | 对训练行为的解释 |
|---|---:|---:|---|
| JSD | 32.8 | 5.3 | 此配置下兼顾稳定与多样性 |
| 前向 KL：$\operatorname{KL}(P_{\rm target}\Vert Q_{\rm online})$ | 约 80,000 | 6.9 | 作者解释为向无信息分布漂移 |
| 反向 KL：$\operatorname{KL}(Q_{\rm online}\Vert P_{\rm target})$ | 64.0 | 4.4 | 寻模倾向强、生成多样性不足 |

Table 6，p. 9。前向 KL 的均值识别性质没有消除从零训练的优化难度；反向 KL 在 8 步的 PPL 75.3 虽低于 JSD 的 110.6，熵仅 4.6。选择 JSD 的证据来自这类联合比较，不能简化成“理论最优散度”。原文消融页没有明确给出全部独立训练预算和采样精度，不将这些值直接并入 Table 1 的严格同配置排序。

### 4.6 补充实验：数值精度、MAUVE 与实际文本

**FP32。** Table 7 保持 CDLM 优于 MDLM 的主趋势，但绝对 PPL 与 FP64 可以差很多：MDLM 1024 步由 FP64 的 97.7 变为 FP32 的 42.4，PPL 优化变体由 33.8 变为 17.1。原文没有进一步隔离这一精度差异的来源，因此不可把两种精度拼成一条质量—步数曲线。[Table 1，p. 7；Table 7，p. 20]

**MAUVE。** OpenWebText、Lambada、WikiText-103 的数值大多在 0.90–0.99，区分度有限；但 PTB 不属于“高分饱和”：8 步时 MDLM / SDTT / CDLM 分别为 **0.11 / 0.07 / 0.02**，64 步分别为 **0.12 / 0.08 / 0.07**。因此 PPL、BLEU2 的优势没有在 PTB MAUVE 上转化为领先，分布匹配这一维度应单独保留。[Table 8，p. 21]

**定性样例。** 附录分别给出 4、64、512 步的单条输出，并截断到 1000 字符。4 步 CDLM 仍有明显断裂、重复和语义不连贯；64 步出现更完整的新闻式段落；512 步仍可能围绕同一主题反复改写、缺少实质信息。这些样例与“更多步数有助于结构形成”相容，也提醒低生成 PPL 并不直接代表事实准确或可用于对话的文本质量。[Appendix F.4，pp. 21–24]

## 五：结论——最值得带走的思想与后续问题

CDLM 最有价值的贡献，是把**已知随机过程的解析后验**变成可直接训练的跨噪声监督。它给离散扩散提供了一种单阶段少步训练路线，而且基础 MCDLM、PPL 优化变体、uniform 扩展和再次蒸馏的结果形成了相互补充的证据。

对方法设计的启发有三点。第一，随机路径上的一致性应从条件期望理解，不能直接照搬连续 ODE 的逐样本不变性。第二，任何自监督一致性都需要有信息的边界或锚点，否则“所有输入都答一样”也会是容易实现的解。第三，统计目标与可优化目标之间有实际张力：前向 KL 的干净理论与 JSD 的稳定训练各有作用，不能相互替代。

最影响结论外推的条件是当前的 **110M 模型、32 条生成样本、外部 PPL 评价和 NFE 口径**。面向更大模型或实际服务，值得优先回答：在更多样本和训练重复下收益是否稳定；能否设计同时识别正确均值并保持稳定的目标；在匹配文本质量与多样性后，加入 KV cache 的真实延迟和总训练成本怎样变化。对于条件生成，还应在固定条件位置的对齐协议下重新比较 masked 与 uniform 路线。

这篇论文适合被理解为一个有数学结构、也有明确工程取舍的训练框架：**解析桥降低了获取跨步监督的成本，而少步文本质量最终由边缘建模能力、稳定化配方、采样方式及评价标准共同决定。**