# Continuous Autoregressive Language Models：中文研读笔记

**论文**：Continuous Autoregressive Language Models（CALM）  
**作者**：Chenze Shao、Darren Li、Fandong Meng、Jie Zhou；腾讯微信 AI、清华大学求真书院。  
**版本**：[arXiv:2510.27688v1](https://arxiv.org/abs/2510.27688v1)，2025-10-31 提交。  
**研读与获取日期**：2026-10-14。  
**原文与汇报**：[本地论文 PDF](../source/paper.pdf) · [英文幻灯片](slides.en.pdf) · [可编辑 TeX](slides.en.tex) · [作者代码](https://github.com/shaochenze/calm)。下文页码均为从 1 开始的 PDF 页码，与论文印刷页码一致。

## 论文总览

CALM 把语言模型的一次预测单位从一个 token 扩大为一个包含 $K$ 个 token 的连续向量。实现这一点需要三个条件同时成立：自编码器能把向量可靠地还原为 token；生成模型能以一次前向计算采样下一向量；训练、评价和采样控制不依赖显式似然。论文用鲁棒变分自编码器、基于能量评分的生成头、BrierLM 评价及黑盒温度采样，给出了配套方案。

最值得把握的机制是：**生成头的输出是连续的，实际自回归反馈仍然经过离散 token。** 每次生成向量后，冻结的解码器并行输出 $K$ 个 token；下一步将这组 token 的嵌入压缩成一个 Transformer 输入位置。因此，每输出 $K$ 个 token，只推进一次主干，而块内相关性由共同的随机潜变量承载。[§3.3.3，pp. 6–8，Fig. 2]

在 Pile uncopyrighted 预训练、WikiText-103 评价的实验中，$K=4$ 的 CALM-M 用 $3.7\times10^{20}$ 训练 FLOPs、每 token $2.9\times10^8$ 推理 FLOPs，取得 BrierLM 5.72；Transformer-S 对应为 $6.6\times10^{20}$、$4.4\times10^8$ 和 6.05。计算量分别少约 44% 和 34%，分数也低 0.33。结果支持的是较好的计算—质量折中；论文主要证据是 FLOPs 和该分布评价指标。[§7.2，p. 15，Table 1]

## 结构地图

| 原文章节 | 解决的问题 | PDF 定位 |
| --- | --- | --- |
| 1 Introduction | 为什么要增加每步输出的信息量 | pp. 1–3；Fig. 1 |
| 2 Autoencoder；2.1 High-Fidelity Reconstruction；2.2 Robust Vector Representation | 从可重建表示到可生成表示 | pp. 3–4；Eqs. (1)–(4) |
| 3 Likelihood-Free Language Modeling；3.1 Next-Vector Prediction；3.2 Generative Head；3.3 Energy Transformer | 单步随机生成头及能量损失 | pp. 5–8；Eqs. (5)–(10)，Fig. 2 |
| 4 Likelihood-Free LM Evaluation；4.1 Principles of LM Evaluation；4.2 BrierLM | 如何只靠采样评价条件分布 | pp. 8–9；Eqs. (11)–(15)，Fig. 3 |
| 5 Likelihood-Free Temperature Sampling；5.1–5.3 | 精确拒绝采样、代价与批近似 | pp. 10–12；Algorithms 1–2，Theorems 1–3 |
| 6 Related Work；6.1–6.4 | 与潜变量生成、分块模型及 Bernoulli factory 的关系 | pp. 12–14 |
| 7 Experiments；7.1 Settings；7.2 Main Results | 数据、模型及计算折中 | pp. 14–16；Table 1，Figs. 4–5 |
| 7.3 Effect of Autoencoder | 表示正则化和容量的影响 | pp. 16–17；Table 2，Figs. 6–7 |
| 7.4 Effect of Model Architecture | 生成头、采样数、能量指数和输入 | pp. 17–19；Tables 3–5，Figs. 8–9 |
| 7.5 Temperature Sampling | 准确率与多样性的可控性 | pp. 19–20；Figs. 10–11 |
| 8 Conclusion and Future Work | 语义表示、扩展规律及算法工具的后续问题 | pp. 20–21 |
| A Proof；A.1–A.3 | 温度分布、期望代价、渐近一致性的证明 | pp. 30–33；Eqs. (16)–(37) |

## 一：动机——让主干每次处理更多 token

### 1.1 从词表扩张转向预测单位扩张

常规语言模型需要运行下一 token 预测 $T$ 次，才能生成 $T$ 个 token。作者从字符模型到子词模型的演化获得启发：如果一个单位承载更多信息，序列就更短。

在固定离散词表下，一个 token 最多区分 $|\mathcal V|$ 种符号，索引容量为 $\log_2|\mathcal V|$ bits。词表在约 32K–256K 时，对应约 15–18 bits。这里是离散索引的容量上限，不是自然语言 token 的实际熵。若把任意 $K$-token 组合直接变成一个词表类别，最坏需要 $|\mathcal V|^K$ 个类别；CALM 用连续向量表达这些组合，避开显式枚举巨型输出词表。[§1，pp. 1–2]

![原图 1：从逐 token 到逐向量预测](figures/fig-01-concept.png)

来源：Fig. 1，p. 2。图中 $K=3$ 只是教学示例；主结果使用 $K=4$。左侧六个 token 形成六个预测位置，右侧用两个向量表示。这个变化缩短的是主干序列，向量生成和 token 解码仍有成本。

### 1.2 与相近路线的区别

按照论文 §6 的定位，CALM 与几类工作分别有不同的交点：

| 路线 | 与 CALM 相关的机制差别 |
| --- | --- |
| 多 token 训练、推测解码 | 可以增加预测头或提出候选；CALM 直接训练按块推进的生成分布 |
| MegaByte 等全局—局部层次模型 | 局部模型仍逐 token 解码；CALM 用共享潜变量与浅层解码器并行还原块 |
| Large Concept Models | 同样预测连续表示；CALM 使用固定短块、轻量鲁棒自编码器和单步生成头 |
| 文本/提示压缩 | 重建可靠是必要条件；CALM 还要求表示空间适合生成模型学习 |
| 潜空间扩散、flow matching | 可作为向量预测器；CALM 选择能量评分训练的一次前向采样器 |

连续表示并不自动带来无限的有效信息容量：维度、数值精度、解码鲁棒性和生成难度仍然构成约束。论文引入的实用变量是 $K$，即每次主干推进所对应的 token 数。

## 二：方法——表示、生成、评价与采样

### 2.1 符号与实际数据流

| 符号 | 含义 |
| --- | --- |
| $\mathcal V$、$K$ | token 词表、每块 token 数 |
| $T$、$L=T/K$ | 文本长度、块数；温度章节也用 $T$ 表示温度，需按上下文区分 |
| $\mathbf z_i\in\mathbb R^l$ | 第 $i$ 块的潜向量；默认 $l=32K$ |
| $d_{\rm AE}=512$ | 自编码器隐藏宽度；与语言模型主干宽度 $d$ 区分 |
| $q(\mathbf z\mid\mathbf x)$ | 冻结编码器定义的对角高斯后验 |
| $\mathbf h_{i-1}$ | 历史 token 块经过主干后的条件状态 |
| $N$、$M$ | 能量损失中的模型样本数、目标后验样本数；默认 8、100 |
| $\alpha$ | 能量距离的指数；温度算法再次用它表示逆温度的小数部分 |

![原图 2：CALM 的实际架构](figures/fig-02-architecture.png)

来源：Fig. 2，p. 7。先沿左侧自下而上阅读 token 嵌入、输入压缩 MLP 和 Transformer；再沿中间自上而下阅读噪声、生成头和冻结解码器。右侧展开的是生成头内部的残差 MLP 深度，图中 $L$ 此处表示块堆叠数，与序列块数重名。

论文先用 $p(\mathbf Z)=\prod_i p(\mathbf z_i\mid\mathbf z_{<i})$ 描述概念性的下一向量预测（Eq. (6)），随后在 §3.3.3 给出实际更优的离散输入方案。把后者写清楚，推理步骤可表示为以下教学形式：

$$
\mathbf u_i=\mathrm{InputMLP}\bigl(\mathrm{Embed}(\hat{\mathbf x}_{(i-1)K+1:iK})\bigr),
$$

$$
\mathbf h_i=\mathrm{Transformer}(\mathbf u_{\le i}),\quad
\tilde{\mathbf z}_{i+1}=G_\theta(\mathbf h_i,\boldsymbol\varepsilon),\quad
\hat{\mathbf x}_{iK+1:(i+1)K}=g_{\rm dec}(\tilde{\mathbf z}_{i+1}).
$$

这里的 InputMLP 是语言模型自身的可训练输入模块，和用来产生目标后验的 AE 编码器不是同一个模块。解码器在每个位置取 argmax；块的随机性来自生成头的噪声，而块内各 token 通过同一个 $\tilde{\mathbf z}$ 发生关联。

### 2.2 自编码器：高重建率只是第一步

**结构。** 编码器先把 $K$ 个 token 嵌入，逐位置经过 FFN；拼接后的 $Kd_{\rm AE}$ 维表示被线性压到 $d_{\rm AE}$ 维，再经 FFN 和输出映射形成潜表示。解码器大体镜像：将潜变量映射到 $d_{\rm AE}$，扩展至 $Kd_{\rm AE}$，恢复 $K$ 个位置，经 FFN 和与输入嵌入共享的词表投影得到 logits。整个 AE 不读取相邻块。[§2.1，p. 3]

原文 Eq. (1) 的重建目标为

$$
\mathcal L_{\rm ae}(\mathbf x_{1:K})
=-\sum_{j=1}^K\log p_{\rm dec}(x_j\mid\mathbf z).
$$

作者发现，仅为重建服务时，$K=4$、$l=10$ 已能达到超过 99.9% 的 token 级重建准确率。但这种表示对小扰动敏感：编码器可以使用很精细的数值区别来编码 token，后续生成器却难以精确命中。于是，“能装下信息”和“能被生成模型稳定地预测”成为两个不同的问题。

**变分正则化。** 实际采用的编码器输出 $\boldsymbol\mu,\boldsymbol\sigma\in\mathbb R^l$，从

$$
q(\mathbf z\mid\mathbf x)=\mathcal N\bigl(\boldsymbol\mu,
\operatorname{diag}(\boldsymbol\sigma^2)\bigr)
$$

采样。加入标准高斯先验的 KL 约束后，各维损失为

$$
\mathcal L_{{\rm KL},j}
=\tfrac12\bigl(\mu_j^2+\sigma_j^2-1-\log\sigma_j^2\bigr).
$$

为减轻后验塌缩，最终使用

$$
\mathcal L_{\rm total}
=\mathcal L_{\rm ae}
+\beta\sum_{j=1}^l\max\bigl(\lambda_{\rm KL},\mathcal L_{{\rm KL},j}\bigr),
\qquad \beta=0.001,\quad\lambda_{\rm KL}=0.5.
$$

对应原文 Eqs. (2)–(4)，p. 4。这里的“clipping”是给每维 KL **损失**设下限：低于阈值后，该维不再因继续降低 KL 而获得目标函数收益，为携带信息留出空间。它没有把每维实际 KL 强制约束在 0.5 以上。

**冗余与抗扰动。** AE 训练时同时使用 0.15 的 token masking 和 0.15 的 latent dropout，前者促进块内推断，后者促进冗余表示。两者在后续 LM 训练和推理中关闭。$K=4$ 时最终选 $l=128$，后验标准差约为 0.3，仍维持超过 99.9% 的 token 重建率。[§2.2，pp. 3–4]

该数值衡量的是编码—解码重建，不能作为语言模型下一块预测准确率；它也不是整块完全正确率。增加潜维度的目的主要是允许冗余和扰动，而不只是装入更多索引信息。

### 2.3 生成头：一次前向采样一个相关的 token 块

生成头输入主干状态 $\mathbf h$ 和独立均匀噪声 $\varepsilon_j\sim\mathcal U[-0.5,0.5]$。两者先分别映射到主干宽度 $d$，再通过若干条件残差 MLP 块，最后投影到 $l$ 维。每个块约有 $6d^2$ 参数，块数取主干层数的四分之一；作者估计生成头约占模型参数的 10%。[§3.3.3，pp. 6–7]

“单步”指一次生成头前向就得到样本；内部仍有多层网络。它不需要对每个向量反复执行扩散去噪或 ODE 求解。所谓 energy-based 在这里指训练用的能量评分，也不要求在推理时用 MCMC 搜索能量极小点。

连续域本身不排斥可计算密度模型；本方法的似然不可得来自所选的隐式采样器。这样的选择保留了生成头的表达和结构自由，同时需要替换传统交叉熵工具链。

### 2.4 能量损失：把贴近目标和保持多样性放在同一个目标中

严格适当评分规则（strictly proper scoring rule）在真实分布为 $Q$ 时，期望分数只在报告 $P=Q$ 时达到最大。原文采用的能量评分为

$$
S(P,\mathbf y)
=\mathbb E_{\mathbf x',\mathbf x''\sim P}\|\mathbf x'-\mathbf x''\|^\alpha
-2\mathbb E_{\mathbf x\sim P}\|\mathbf x-\mathbf y\|^\alpha.
$$

其中样本相互独立，$0<\alpha<2$；在相应矩有限的分布类上具有严格适当性，实验默认 $\alpha=1$。[§3.3.1–3.3.2，p. 6，Eqs. (8)–(9)]

第一项鼓励模型样本之间保有距离，第二项鼓励样本靠近观测。最大化两者的组合可以约束整个分布；如果只有贴近目标项，随机生成头容易收缩成“代表性答案”，失去多模态能力。

CALM 每个位置采样 $N=8$ 个生成向量 $\tilde{\mathbf z}_{i,n}$，并从真实 token 块的后验采样 $M=100$ 个目标 $\mathbf z_{i,m}$。最小化原文 Eq. (10)：

$$
\mathcal L_{\rm energy}
=\sum_{i=1}^{L}\left[
\frac{2}{NM}\sum_{n=1}^{N}\sum_{m=1}^{M}
\|\mathbf z_{i,m}-\tilde{\mathbf z}_{i,n}\|
-\frac{1}{N(N-1)}\sum_{n\ne k}
\|\tilde{\mathbf z}_{i,n}-\tilde{\mathbf z}_{i,k}\|
\right].
$$

模型间距离只统计不同样本对，分母 $N(N-1)$ 与有序对求和相匹配。多目标采样是利用已知高斯后验减少估计方差；多模型采样则需要额外运行生成头。主干状态在这些样本间共享，故 $N=8$ 不表示完整 Transformer 运行八次。

从学习对象看，给定历史 token，生成头拟合的是“未来 token 块的条件分布经过 AE 后验映射后得到的混合分布”。语言建模误差与 AE 解码误差会共同影响最终 token 输出。

**为什么不能直接使用平方距离？** 以下为对原式的教学推导。令 $\alpha=2$，则

$$
S(P,\mathbf y)=-2\|\mathbb E_P[\mathbf x]-\mathbf y\|^2.
$$

模型自身方差在展开时抵消，评分只约束均值。对 $\mathbf y\sim Q$ 再求期望，只要求模型均值等于 $Q$ 的均值，无法唯一确定分布。这解释了 $\alpha=2$ 时严格适当性丢失，以及 Table 4 的失败结果。

### 2.5 训练与推理的分工

1. **AE 预训练**：读取真实 token 块，用重建和正则化学习后验与解码器。
2. **LM 训练**：冻结 AE；真实历史块经过独立的输入压缩模块进入因果 Transformer；真实未来块经 AE 编码器产生目标高斯，用能量损失训练主干与生成头。
3. **生成**：已有 token 块提供条件；生成头采样连续向量；冻结 AE 解码器一次输出 $K$ 个 token；继续下一块。

对于长为 $T$ 的输出，主干推进次数由约 $T$ 变为约 $T/K$。当使用温度批采样时，同一步还要生成、解码多个候选，因此主干步数、生成头调用数和最终耗时需要分别计算。

### 2.6 BrierLM：只比较样本也能评价概率分布

能量损失依赖 AE 潜空间的尺度和几何结构，难以直接跨模型比较。作者回到离散输出，使用分数越高越好的 Brier 形式：

$$
\operatorname{Brier}(P,y)=2P(y)-\sum_xP(x)^2.
$$

其期望可分解为

$$
\mathbb E_{y\sim Q}\operatorname{Brier}(P,y)
=-\sum_x\bigl(P(x)-Q(x)\bigr)^2+\sum_xQ(x)^2.
$$

第二项只依赖真实分布；最大化分数等价于减小概率向量的平方距离。这是 Brier 单项严格适当性的直接理由。[§4.2，p. 8，Eqs. (12)–(13)]

因为 $\sum_xP(x)^2=\Pr(X_1=X_2)$，用两个独立样本就可构造无偏估计：

$$
\widehat{\operatorname{Brier}}(P,y)
=\mathbb I\{X_1=y\}+\mathbb I\{X_2=y\}-\mathbb I\{X_1=X_2\}.
$$

命中参考答案得到奖励，两次样本相同受到扣分；后者防止靠一味收缩分布提高命中率。对于 $n$-gram，把完整的 $n$ 个 token 视为一个原子结果，匹配要求整段完全相同。先聚合每个阶数的评分，再计算

$$
\operatorname{BrierLM}=100\left(\prod_{n=1}^{4}\operatorname{Brier}\text{-}n\right)^{1/4}.
$$

对应 Eqs. (14)–(15)，p. 9。它衡量给定真实前缀后的短续写分布，而不是自由生成文章的连贯性。Table 5 中的 Brier-1 等数值按百分制展示；例如原始 0.2181 对应表内 21.81，不能把百分制分量相乘后再重复乘 100。

![原图 3：BrierLM 与交叉熵](figures/fig-03-brier.png)

来源：Fig. 3，p. 9。横轴交叉熵越低越好，纵轴 BrierLM 越高越好，颜色对应三个基线规模及其训练检查点。Pearson 为 −0.966，Spearman 为 −0.991，说明在这些基线检查点上，两种评价的排序高度一致。

**复合指标的理论边界（本次分析）。** 无偏性属于上面的 Brier 单项估计；对估计值再取几何平均是非线性操作，有限样本下的复合 BrierLM 一般不再无偏。在所有总体 Brier-$n$ 分量为正、评价上下文固定时，每项都在真实对应分布取得最大值，几何平均也保留这一最优点；这并不自动给出对任意模型的全局严格适当评分。

一个具体原因是 Brier 单项可以为负：真实续写确定为 `AAAA`，模型确定输出首 token 就不同的 `BBBB` 时，四个阶数都得到 −1。通常意义的几何平均要求非负分量；若直接按 Eq. (15) 的“乘积再开四次方”延伸，这个完全错误的模型反而得到 100，与完全正确的模型相同。

这一边界也出现在作者公开实现中：`compute_metrics` 使用 `max(b1*b2*b3*b4, 0)**0.25`，对乘积截断不能排除偶数个负分量的情况。上述反例针对指标定义，不表示 Table 1 的正常正分量结果出现了这种问题。[作者实现固定提交的聚合代码](https://github.com/shaochenze/calm/blob/0249935517df77466a0ef76e33e5a8f18e3fd90a/train/train_calm.py#L566-L574)

此外，公开实现对 $K\ge4$ 从每个块的起点计算前 1–4 个 token 的评分；当 $K=8$ 时，后四个 token 没有被直接计入同一步的 Brier-$n$。因此跨 $K$ 比较时还需考虑覆盖范围。这里是公开实现补充，与论文自身的理论推导分开理解。[作者实现的评价代码](https://github.com/shaochenze/calm/blob/0249935517df77466a0ef76e33e5a8f18e3fd90a/models/modeling_calm.py#L71-L182)

### 2.7 黑盒温度采样：在解码后的离散块上碰撞

本节 $T$ 表示温度。给定只能采样的离散块分布 $P(x)$，目标为

$$
P_T(x)=\frac{P(x)^{1/T}}{Z_T},\qquad Z_T=\sum_xP(x)^{1/T},\quad 0<T<1.
$$

这里的 $x$ 是解码后的完整 $K$-token 块。若在连续向量本身上要求两次样本完全相同，通常碰撞概率为零；可行性来自离散解码后的有限样本空间。[§5.1，pp. 10–11]

**整数逆温度。** 当 $T=1/n$，独立抽取 $n$ 个块，只有完全相同时才接受。单轮接受某个 $x$ 的概率是 $P(x)^n$，反复重试后就得到归一化的目标分布。例如 $T=1/2$ 时，相同样本对的碰撞让高概率块被平方加权。

**一般逆温度。** 令 $1/T=n+\alpha$，其中 $n=\lfloor1/T\rfloor$、$0\le\alpha<1$。第一阶段执行上述 $n$ 次碰撞；若 $\alpha>0$，对候选 $x^*$ 再执行 Bernoulli factory：第 $i$ 次抽样若命中 $x^*$ 就接受，否则以概率 $\alpha/i$ 拒绝并重启，剩余概率继续下一次。[Algorithm 1，p. 10]

设 $p=P(x^*)$，第二阶段最终接受概率为

$$
p\sum_{k=0}^{\infty}(1-p)^k
\prod_{j=1}^{k}\left(1-\frac\alpha j\right)=p^\alpha.
$$

等式由广义二项式展开得到。因此单轮接受 $x$ 的概率是 $P(x)^nP(x)^\alpha=P(x)^{1/T}$，即 Theorem 1 的关键证明。[附录 A.1，p. 30，Eqs. (16)–(18)]

### 2.8 正确性与采样代价是两个不同问题

Theorem 2 给出 Algorithm 1 产生一个有效块所需的期望基础采样次数：

$$
\mathbb E[N_{\rm total}]
=\frac{n+\mathbb I(\alpha>0)\sum_xP(x)^{1/T-1}}{Z_T}.
$$

证明可沿三步理解：每轮第一阶段固定花 $n$ 次；给定候选 $x$，第二阶段条件平均花 $P(x)^{\alpha-1}$ 次；把候选出现概率 $P(x)^n$ 加权后，再除以单轮成功率 $Z_T$。[§5.2，p. 11；附录 A.2，pp. 31–32，Eqs. (19)–(29)]

对于 $T\le0.5$，分子不超过 $n+1$，但 $Z_T$ 可能很小。对于 $0.5<T<1$，上界为 $(1+|\mathcal X|^{2-1/T})/Z_T$；$T\to1^-$ 时，分数幂阶段仍可能昂贵。$T=1$ 本身只需调用基础采样器一次，不需要这套拒绝算法。论文没有给出 $T>1$ 的精确算法。

一个教学例子能显示低温开销：若基础分布在 $S$ 个块上均匀，$T=1/n$ 时有 $Z_T=S^{1-n}$，因此平均需要 $nS^{n-1}$ 次采样。即使温度变换后的分布仍然均匀，这个通用碰撞算法也可能付出很高代价。

### 2.9 批近似：用组合权重提高样本利用率

Algorithm 2 针对 $T=1/n$，一次抽取较大的 $N$ 个块。若块 $x$ 出现 $c_x$ 次，就赋予权重

$$
w_x=\binom{c_x}{n},\qquad
\Pr(x\mid\text{本批样本})=\frac{w_x}{\sum_z w_z}.
$$

这统计的是批内有多少个“全部相同的 $n$ 元子集”。例如某批中 A 出现 3 次、B 出现 2 次，$n=2$ 时权重分别为 3、1，于是条件输出概率为 3/4、1/4。如果没有任何块达到 $n$ 次，则依次降低匹配阶数，直到有候选。最坏降到 1，总能返回结果。[§5.3，pp. 11–12，Algorithm 2]

有限批次有偏，因为权重比例的期望一般不等于期望权重的比例，fallback 也改变了有效温度。Theorem 3 证明的是 $N\to\infty$ 时一致收敛：

$$
\frac{c_x}{N}\to P(x)
\ \Longrightarrow\ 
\frac{\binom{c_x}{n}}{N^n}\to\frac{P(x)^n}{n!}
\ \Longrightarrow\ 
\frac{w_x}{\sum_z w_z}\to P_T(x).
$$

在这里有限的块空间内，选任意 $P(x)>0$ 的块，其计数随 $N$ 增长，故 fallback 概率趋于零；再利用归一化权重落在 $[0,1]$ 的有界性，就得到输出概率的期望收敛。这补足了附录证明中未展开的 fallback 环节。[附录 A.3，p. 33，Eqs. (30)–(37)；fallback 解释为本次推导]

还需区分两种温度对象：本文精确算法变换的是**当前整个块的条件概率** $P(x_{1:K}\mid h)$；传统 LM 通常逐 token 缩放 logits。后者含有随块内历史变化的归一化因子，因此一般不等于把原始块联合概率整体升幂。后文曲线接近说明某些准确率—碰撞率行为相近，不意味着两者输出分布完全相同。

## 三：实验——如何比较表示、模型与计算

### 3.1 主实验配置

| 项目 | 原文配置及比较含义 |
| --- | --- |
| 训练语料 | Pile uncopyrighted，经 Llama 3 tokenizer 得到约 230B token |
| 评价 | WikiText-103；核心指标 BrierLM，越高越好 |
| AE 阶段 | 约 15B-token 子集，30K 步，每批约 512K token；隐藏宽度 512，潜维度 $32K$，约 75M 参数 |
| LM 阶段 | 使用其余数据，250K 步，每批约 2M token；按乘积计是约 500B token 的训练暴露量，不应写成新增 500B 独立语料 |
| 上下文 | 2048 个主干位置；普通 Transformer 是 2048 token，CALM 是 $2048K$ token |
| 架构 | LLaMA 风格 Transformer：RMSNorm、SwiGLU、RoPE；CALM 加输入压缩和生成头 |
| 优化 | AdamW，$\beta_1=0.9,\beta_2=0.95,\epsilon=10^{-8}$；学习率 $3\times10^{-4}$，常数日程，2000 步 warmup；权重衰减 0.1，梯度裁剪 1.0 |
| FLOPs 口径 | Table 1 包含 75M AE 参数、AE 训练以及编码/解码 FLOPs；attention 成本按上下文长度 2048 计算 |

来源：§7.1，pp. 14–15，Table 1 表注。其上下文比较固定的是主干步数，而不是原始 token 窗口；$K=4$ 模型可见 8192 token。这也是计算—质量折中的组成部分，不能把主结果当作固定 token 上下文下对单一输出头的替换实验。

| 主干规模 | 层数 | 隐藏宽度 | FFN 中间宽度 |
| --- | ---: | ---: | ---: |
| S | 12 | 768 | 2048 |
| M | 16 | 1024 | 2752 |
| L | 16 | 1536 | 4096 |
| XL | 16 | 2560 | 6880 |

同名字母描述主干形状，不代表 CALM 与离散 Transformer 总参数相等：输入输出层结构不同，CALM 还要计入 AE。

### 3.2 消融回答的四组问题

AE 与架构消融使用较小的固定 LM：隐藏宽度 768、12 层、16 注意力头、FFN 宽度 2048、3 个生成头 MLP 块，训练 50K 步。下文约 4.70 的分数属于这组协议，不能直接与主表 250K 步的大模型比较。[§7.3–7.4，pp. 16–17]

实验分别检验：AE 正则是否改善下游可学性；生成头是否需要迭代；能量损失的采样量与指数怎样影响优化；离散输入是否比连续输入更容易供主干使用。温度实验则在匹配 BrierLM 的模型检查点上比较命中率与碰撞率的变化。[§7.5，pp. 19–20]

## 四：结果——逐组解释证据

### 4.1 主结果：计算减少伴随着小幅分数差距

| 模型 | 总参数 | 训练 FLOPs（$10^{20}$）↓ | 每 token 推理 FLOPs（$10^8$）↓ | BrierLM ↑ |
| --- | ---: | ---: | ---: | ---: |
| Transformer-S | 281M | 6.6 | 4.4 | 6.05 |
| Transformer-M | 465M | 11.9 | 7.9 | 7.07 |
| Transformer-L | 849M | 22.5 | 15.0 | 8.98 |
| CALM-M，$K=4$ | 371M | 3.7 | 2.9 | 5.72 |
| CALM-L，$K=4$ | 735M | 7.7 | 4.6 | 6.58 |
| CALM-XL，$K=4$ | 1.82B | 19.5 | 9.4 | 8.53 |

来源：Table 1，p. 15。作者重点对比 CALM-M 与 Transformer-S：训练 FLOPs 减少 $1-3.7/6.6=43.9\%$，推理 FLOPs 减少 $1-2.9/4.4=34.1\%$，BrierLM 低 0.33 个分数点。CALM-XL 对 Transformer-L 的训练、推理 FLOPs 分别少约 13.3%、37.3%，分数低 0.45。

这组结果的机制含义是：较大的主干可以被调用更少次，以较低计算量获得接近较小离散模型的分布建模质量。对应模型的分数并不完全相等，不能把“comparable”写成严格等质量。表中也没有 GPU 吞吐、首 token 延迟或真实生成时延；而温度控制的多候选生成会另外增加开销。

### 4.2 改变 $K$：压缩步数和增加预测难度相互竞争

![原图 4：块大小的计算—性能折中](figures/fig-04-flops.png)

来源：Fig. 4，p. 16。横轴为总训练 FLOPs，图内倍率为 $10^{21}$，纵轴为 BrierLM。蓝线通过 Transformer 不同规模的结果，橙线固定 CALM-L 主干并改变 $K$。

当 $K=1$，连续生成承担了额外学习难度，却没有减少主干步数，因而比离散基线更贵且更弱。$K=1\to2$ 大幅减少计算而只损失少量分数；$K=4$ 形成较好的折中；$K=8$ 的分数下降明显。作者将后者解释为模型容量不足，提出更大模型或可支持更高 $K$，但本文未建立 $(\text{参数量},\text{数据量},K)$ 的 scaling law。[§7.2，pp. 15–16]

![原图 5：主实验训练曲线](figures/fig-05-training.png)

来源：Fig. 5，p. 16。横轴是训练步数而非 FLOPs，纵轴是 BrierLM。CALM-XL 早期落后于 Transformer-M，随后超过它并逐渐接近 Transformer-L。作者解释为连续块分布的学习启动较慢，后期较大容量发挥作用；图本身展示的是学习动态，不能按相同步数当作相同计算预算。

### 4.3 自编码器：正则化必须兼顾信息保留

| AE 配置 | 下游 BrierLM ↑ |
| --- | ---: |
| 仅重建 | 3.99 |
| 普通 KL | 3.48 |
| KL clipping | 4.13 |
| KL clipping + token dropout | 4.55 |
| KL clipping + latent dropout | 4.46 |
| KL clipping + 两种 dropout | 4.70 |

来源：Table 2，p. 17。普通 VAE 的 128 维中有 71 维塌缩到标准高斯；加入 KL clipping 后下游分数恢复并超过仅重建基线。两种 dropout 分别有效，组合进一步提高分数。完整方案比仅重建高 0.71 个分数点。

这给出了比“AE 重建很准”更强的机制证据：下游性能与潜空间是否易于建模有关。只优化压缩精确性可能产生过于精细的编码；无约束地把分布压回先验，又可能损失用于重建的有效维度。

![原图 6：KL 权重的作用](figures/fig-06-kl.png)

来源：Fig. 6，p. 17。横轴是 KL 权重，蓝线与左轴表示下游 BrierLM，红虚线与右轴表示 AE token 重建准确率。适度正则能保持重建率并提高下游表现，$\beta=0.001$ 最好；$\beta=0.1$ 时重建率降至约 99%，下游也明显变差。

![原图 7：潜维度与下游可学性](figures/fig-07-dimension.png)

来源：Fig. 7，p. 17。横轴潜维度取 32、64、128、256，左右轴和颜色含义与 Fig. 6 相同。重建率都高，下游分数却在 128 维达到峰值。这个实验同时把 dropout 调为 0.05、0.10、0.15、0.20，因而反映的是维度与正则共同变化的配置选择，不能只归因于维度。

作者还尝试把编码器/解码器深度增至 4 层、隐藏宽度增至 1024、AE 数据增至 100B token，均未见明显下游改善。当前任务的关键更偏向表示几何与训练目标，单纯扩大 AE 没有带来对应收益。[§7.3，p. 17]

### 4.4 生成头：能量目标同时改善质量和采样步数

![原图 8：不同生成头的训练曲线](figures/fig-08-heads.png)

来源：Fig. 8，p. 18。横轴训练步数，纵轴 BrierLM；能量头、flow matching、diffusion 共享小模型实验协议。后两种方案训练时也将条件状态复制 8 份；常规评价使用 100 个迭代步，flow matching 使用 midpoint 求解器。Flow 早期收敛较快，能量头的最终分数更高，diffusion 最弱。

![原图 9：迭代次数与质量](figures/fig-09-iterations.png)

来源：Fig. 9，p. 18。横轴为对数尺度的采样迭代数，纵轴 BrierLM；蓝星是一次前向的能量头。Flow midpoint 在 2 步已有较好质量、4 步接近饱和，diffusion 要多得多的步数。迭代步数与实际网络函数调用次数还取决于求解器，midpoint 的一步不应直接当成一次网络调用。

### 4.5 能量估计的采样量：质量收益很快变小

| 模型样本 $N$（固定 $M=100$） | BrierLM ↑ | 相对训练成本 ↓ |
| ---: | ---: | ---: |
| 2 | 4.37 | 0.82× |
| 4 | 4.53 | 0.91× |
| 8 | 4.70 | 1.00× |
| 12 | 4.72 | 1.13× |

| 目标样本 $M$（固定 $N=8$） | BrierLM ↑ | 相对训练成本 ↓ |
| ---: | ---: | ---: |
| 1 | 4.50 | 0.92× |
| 16 | 4.56 | 0.94× |
| 100 | 4.70 | 1.00× |
| 200 | 4.67 | 1.07× |

来源：Table 3，p. 18。增加模型样本使估计更充分，但 $8\to12$ 只增加 0.02 分，成本增加 13%。从目标后验多采样较便宜，但不是完全免费。原文正文说增加采样数持续提高分数，表内 $M=200$ 实际由 4.70 降至 4.67；因此准确结论是默认设置在这些结果中较均衡，收益并不严格单调。

| 能量距离指数 $\alpha$ | 0.75 | 1 | 1.25 | 1.5 | 1.75 | 2 |
| --- | ---: | ---: | ---: | ---: | ---: | ---: |
| BrierLM | 训练失败 | 4.70 | 4.42 | 4.46 | 4.30 | 0 |

来源：Table 4，p. 19。$\alpha<1$ 时作者报告梯度爆炸；这与严格适当性不矛盾，因为总体目标能识别正确分布，并不保证优化轨迹稳定。默认 $\alpha=1$ 在这组实验最好；$\alpha=2$ 只约束均值，与上文推导一致。

### 4.6 离散反馈是性能关键

| 主干输入 | Brier-1 ↑ | Brier-2 ↑ | Brier-3 ↑ | Brier-4 ↑ | BrierLM ↑ |
| --- | ---: | ---: | ---: | ---: | ---: |
| 解码后的离散 token | 21.81 | 6.88 | 2.59 | 1.25 | 4.70 |
| 连续潜向量 | 17.43 | 5.04 | 1.74 | 0.73 | 3.25 |
| 二者表示相加 | 21.17 | 6.49 | 2.44 | 1.12 | 4.40 |

来源：Table 5，p. 19，Brier-$n$ 分量按百分制列示。离散输入比纯连续输入高 1.45 个 BrierLM 分数点，组合也未超过离散输入。作者的解释是，连续表示虽然保留信息，主干仍难以从紧凑向量中拆解出有用结构；让 AE 解码器先完成这一步，给主干提供熟悉的 token 嵌入更有效。

因此 CALM 的成功依赖两种接口配合：在输出端通过连续变量联合生成 token 块，在输入端通过离散表示保持可学性。把它理解为全程在一个语义潜空间里自由推演，会遗漏最重要的实证设计之一。

### 4.7 温度采样：可控性有了，但需要候选预算

论文把评分拆成两个量：命中参考 $n$-gram 的概率（accuracy），以及两个独立样本完全相同的概率（collision rate）。分别对 $n=1,\ldots,4$ 取几何平均展示。碰撞率越高表示分布越集中、此意义下的多样性越低；命中率也不是通常分类任务的准确率。[§7.5，pp. 19–20]

![原图 10：批大小与温度的作用](figures/fig-10-temperature.png)

来源：Fig. 10，p. 20。横轴碰撞率、纵轴命中率，均为百分制。蓝线固定 $T=1/3$、把 $N$ 从 1 调到 1000；橙线固定 $N=500$、把 $T$ 从 $1/2$ 调到 $1/6$。增加 $N$ 和降低温度都使分布集中，但 $N$ 覆盖的变化区间更大。有限批大小限制了能找到哪些高频块，故标称温度的作用会被候选数限制。

![原图 11：与 Transformer 温度轨迹的比较](figures/fig-11-temperature-baseline.png)

来源：Fig. 11，p. 20。使用近似相同 BrierLM 的检查点，CALM 固定 $T=1/3$ 并调整 $N$，Transformer 则调整 softmax 温度 1.0 至 0.4。两条命中率—碰撞率轨迹接近；作者报告 $N\approx100$ 的行为接近 Transformer 温度 0.6，$N\approx200$ 接近 0.5。

这些候选可以共享主干状态并批量计算，仍需承担多次生成头与 AE 解码开销。这里证明了采样控制的可行性及其经验效果，实际低温生成速度需要连同候选预算重新测量。

## 五：结论——这篇论文真正推进了什么

CALM 把“模型每步输出多少文本”变成一个可调的设计变量。它的贡献来自整套接口：AE 提供鲁棒的块表示；能量损失允许直接训练单步随机生成器；Brier 单项评分提供无需似然的分布评价；碰撞采样给隐式离散分布建立温度控制。这套组合展示了在当前实验规模下，用少量质量差距换取显著 FLOPs 减少的可能性。

最有迁移价值的经验是**先保证潜空间可学，再追求压缩率**。仅重建、普通 VAE、连续反馈的消融都表明，保留信息并不足以保证下游模型容易使用这些信息。默认 $K=4$、$l=128$ 和离散反馈，是在表示容量、正则化与预测难度之间找到的具体折中。

对后续研究，最直接的三个问题是：

1. **实际生成收益能否保留？** 把 AE 解码、多候选温度采样和不同批大小纳入端到端测量，才可判断 FLOPs 优势怎样转化为延迟与吞吐。
2. **更大的 $K$ 需要什么能力？** 当前 $K=8$ 的下降提示联合建模更长块较难；更强的语义表示、上下文相关 AE 和更大的主干是作者提出的方向。评价也应覆盖完整块与较长自由续写。
3. **如何补齐依赖 log-probability 的算法？** 传统策略优化与 KL 蒸馏无法直接套用这个隐式生成头，需要新的样本式目标。BrierLM 本身也应明确非正分量的处理与复合指标的统计性质。[§8，pp. 20–21；指标问题为本次分析]

这篇论文适合被视为“块级连续输出语言模型及其工具链”的完整原型。它把一个架构想法推进到了可训练、可比较、可调采样的阶段，也清楚暴露了表示学习、指标定义和推理预算之间的相互制约。