Continuous Autoregressive Language Models：中文研读笔记
论文：Continuous Autoregressive Language Models（CALM）
作者：Chenze Shao、Darren Li、Fandong Meng、Jie Zhou；腾讯微信 AI、清华大学求真书院。
版本：arXiv:2510.27688v1，2025-10-31 提交。
研读与获取日期：2026-10-14。
原文与汇报：本地论文 PDF · 英文幻灯片 · 可编辑 TeX · 作者代码。下文页码均为从 1 开始的 PDF 页码，与论文印刷页码一致。
论文总览
CALM 把语言模型的一次预测单位从一个 token 扩大为一个包含 $K$ 个 token 的连续向量。实现这一点需要三个条件同时成立：自编码器能把向量可靠地还原为 token；生成模型能以一次前向计算采样下一向量；训练、评价和采样控制不依赖显式似然。论文用鲁棒变分自编码器、基于能量评分的生成头、BrierLM 评价及黑盒温度采样，给出了配套方案。
最值得把握的机制是：生成头的输出是连续的，实际自回归反馈仍然经过离散 token。 每次生成向量后，冻结的解码器并行输出 $K$ 个 token；下一步将这组 token 的嵌入压缩成一个 Transformer 输入位置。因此，每输出 $K$ 个 token，只推进一次主干，而块内相关性由共同的随机潜变量承载。[§3.3.3，pp. 6–8，Fig. 2]
在 Pile uncopyrighted 预训练、WikiText-103 评价的实验中，$K=4$ 的 CALM-M 用 $3.7\times10^{20}$ 训练 FLOPs、每 token $2.9\times10^8$ 推理 FLOPs，取得 BrierLM 5.72；Transformer-S 对应为 $6.6\times10^{20}$、$4.4\times10^8$ 和 6.05。计算量分别少约 44% 和 34%，分数也低 0.33。结果支持的是较好的计算—质量折中；论文主要证据是 FLOPs 和该分布评价指标。[§7.2，p. 15，Table 1]
结构地图
| 原文章节 | 解决的问题 | PDF 定位 |
|---|---|---|
| 1 Introduction | 为什么要增加每步输出的信息量 | pp. 1–3；Fig. 1 |
| 2 Autoencoder；2.1 High-Fidelity Reconstruction；2.2 Robust Vector Representation | 从可重建表示到可生成表示 | pp. 3–4；Eqs. (1)–(4) |
| 3 Likelihood-Free Language Modeling；3.1 Next-Vector Prediction；3.2 Generative Head；3.3 Energy Transformer | 单步随机生成头及能量损失 | pp. 5–8；Eqs. (5)–(10)，Fig. 2 |
| 4 Likelihood-Free LM Evaluation；4.1 Principles of LM Evaluation；4.2 BrierLM | 如何只靠采样评价条件分布 | pp. 8–9；Eqs. (11)–(15)，Fig. 3 |
| 5 Likelihood-Free Temperature Sampling；5.1–5.3 | 精确拒绝采样、代价与批近似 | pp. 10–12；Algorithms 1–2，Theorems 1–3 |
| 6 Related Work；6.1–6.4 | 与潜变量生成、分块模型及 Bernoulli factory 的关系 | pp. 12–14 |
| 7 Experiments；7.1 Settings；7.2 Main Results | 数据、模型及计算折中 | pp. 14–16；Table 1，Figs. 4–5 |
| 7.3 Effect of Autoencoder | 表示正则化和容量的影响 | pp. 16–17；Table 2，Figs. 6–7 |
| 7.4 Effect of Model Architecture | 生成头、采样数、能量指数和输入 | pp. 17–19；Tables 3–5，Figs. 8–9 |
| 7.5 Temperature Sampling | 准确率与多样性的可控性 | pp. 19–20；Figs. 10–11 |
| 8 Conclusion and Future Work | 语义表示、扩展规律及算法工具的后续问题 | pp. 20–21 |
| A Proof；A.1–A.3 | 温度分布、期望代价、渐近一致性的证明 | pp. 30–33；Eqs. (16)–(37) |
一：动机——让主干每次处理更多 token
1.1 从词表扩张转向预测单位扩张
常规语言模型需要运行下一 token 预测 $T$ 次，才能生成 $T$ 个 token。作者从字符模型到子词模型的演化获得启发：如果一个单位承载更多信息，序列就更短。
在固定离散词表下，一个 token 最多区分 $|\mathcal V|$ 种符号，索引容量为 $\log_2|\mathcal V|$ bits。词表在约 32K–256K 时，对应约 15–18 bits。这里是离散索引的容量上限，不是自然语言 token 的实际熵。若把任意 $K$-token 组合直接变成一个词表类别，最坏需要 $|\mathcal V|^K$ 个类别；CALM 用连续向量表达这些组合，避开显式枚举巨型输出词表。[§1，pp. 1–2]
来源：Fig. 1，p. 2。图中 $K=3$ 只是教学示例；主结果使用 $K=4$。左侧六个 token 形成六个预测位置，右侧用两个向量表示。这个变化缩短的是主干序列，向量生成和 token 解码仍有成本。
1.2 与相近路线的区别
按照论文 §6 的定位，CALM 与几类工作分别有不同的交点：
| 路线 | 与 CALM 相关的机制差别 |
|---|---|
| 多 token 训练、推测解码 | 可以增加预测头或提出候选；CALM 直接训练按块推进的生成分布 |
| MegaByte 等全局—局部层次模型 | 局部模型仍逐 token 解码；CALM 用共享潜变量与浅层解码器并行还原块 |
| Large Concept Models | 同样预测连续表示；CALM 使用固定短块、轻量鲁棒自编码器和单步生成头 |
| 文本/提示压缩 | 重建可靠是必要条件；CALM 还要求表示空间适合生成模型学习 |
| 潜空间扩散、flow matching | 可作为向量预测器；CALM 选择能量评分训练的一次前向采样器 |
连续表示并不自动带来无限的有效信息容量：维度、数值精度、解码鲁棒性和生成难度仍然构成约束。论文引入的实用变量是 $K$，即每次主干推进所对应的 token 数。
二：方法——表示、生成、评价与采样
2.1 符号与实际数据流
| 符号 | 含义 |
|---|---|
| $\mathcal V$、$K$ | token 词表、每块 token 数 |
| $T$、$L=T/K$ | 文本长度、块数；温度章节也用 $T$ 表示温度，需按上下文区分 |
| $\mathbf z_i\in\mathbb R^l$ | 第 $i$ 块的潜向量；默认 $l=32K$ |
| $d_{\rm AE}=512$ | 自编码器隐藏宽度；与语言模型主干宽度 $d$ 区分 |
| $q(\mathbf z\mid\mathbf x)$ | 冻结编码器定义的对角高斯后验 |
| $\mathbf h_{i-1}$ | 历史 token 块经过主干后的条件状态 |
| $N$、$M$ | 能量损失中的模型样本数、目标后验样本数；默认 8、100 |
| $\alpha$ | 能量距离的指数；温度算法再次用它表示逆温度的小数部分 |
来源：Fig. 2，p. 7。先沿左侧自下而上阅读 token 嵌入、输入压缩 MLP 和 Transformer；再沿中间自上而下阅读噪声、生成头和冻结解码器。右侧展开的是生成头内部的残差 MLP 深度，图中 $L$ 此处表示块堆叠数，与序列块数重名。
论文先用 $p(\mathbf Z)=\prod_i p(\mathbf z_i\mid\mathbf z_{ 这里的 InputMLP 是语言模型自身的可训练输入模块，和用来产生目标后验的 AE 编码器不是同一个模块。解码器在每个位置取 argmax；块的随机性来自生成头的噪声，而块内各 token 通过同一个 $\tilde{\mathbf z}$ 发生关联。 结构。 编码器先把 $K$ 个 token 嵌入，逐位置经过 FFN；拼接后的 $Kd_{\rm AE}$ 维表示被线性压到 $d_{\rm AE}$ 维，再经 FFN 和输出映射形成潜表示。解码器大体镜像：将潜变量映射到 $d_{\rm AE}$，扩展至 $Kd_{\rm AE}$，恢复 $K$ 个位置，经 FFN 和与输入嵌入共享的词表投影得到 logits。整个 AE 不读取相邻块。[§2.1，p. 3] 原文 Eq. (1) 的重建目标为 作者发现，仅为重建服务时，$K=4$、$l=10$ 已能达到超过 99.9% 的 token 级重建准确率。但这种表示对小扰动敏感：编码器可以使用很精细的数值区别来编码 token，后续生成器却难以精确命中。于是，“能装下信息”和“能被生成模型稳定地预测”成为两个不同的问题。 变分正则化。 实际采用的编码器输出 $\boldsymbol\mu,\boldsymbol\sigma\in\mathbb R^l$，从 采样。加入标准高斯先验的 KL 约束后，各维损失为 为减轻后验塌缩，最终使用 对应原文 Eqs. (2)–(4)，p. 4。这里的“clipping”是给每维 KL 损失设下限：低于阈值后，该维不再因继续降低 KL 而获得目标函数收益，为携带信息留出空间。它没有把每维实际 KL 强制约束在 0.5 以上。 冗余与抗扰动。 AE 训练时同时使用 0.15 的 token masking 和 0.15 的 latent dropout，前者促进块内推断，后者促进冗余表示。两者在后续 LM 训练和推理中关闭。$K=4$ 时最终选 $l=128$，后验标准差约为 0.3，仍维持超过 99.9% 的 token 重建率。[§2.2，pp. 3–4] 该数值衡量的是编码—解码重建，不能作为语言模型下一块预测准确率；它也不是整块完全正确率。增加潜维度的目的主要是允许冗余和扰动，而不只是装入更多索引信息。 生成头输入主干状态 $\mathbf h$ 和独立均匀噪声 $\varepsilon_j\sim\mathcal U[-0.5,0.5]$。两者先分别映射到主干宽度 $d$，再通过若干条件残差 MLP 块，最后投影到 $l$ 维。每个块约有 $6d^2$ 参数，块数取主干层数的四分之一；作者估计生成头约占模型参数的 10%。[§3.3.3，pp. 6–7] “单步”指一次生成头前向就得到样本；内部仍有多层网络。它不需要对每个向量反复执行扩散去噪或 ODE 求解。所谓 energy-based 在这里指训练用的能量评分，也不要求在推理时用 MCMC 搜索能量极小点。 连续域本身不排斥可计算密度模型；本方法的似然不可得来自所选的隐式采样器。这样的选择保留了生成头的表达和结构自由，同时需要替换传统交叉熵工具链。 严格适当评分规则（strictly proper scoring rule）在真实分布为 $Q$ 时，期望分数只在报告 $P=Q$ 时达到最大。原文采用的能量评分为 其中样本相互独立，$0<\alpha<2$；在相应矩有限的分布类上具有严格适当性，实验默认 $\alpha=1$。[§3.3.1–3.3.2，p. 6，Eqs. (8)–(9)] 第一项鼓励模型样本之间保有距离，第二项鼓励样本靠近观测。最大化两者的组合可以约束整个分布；如果只有贴近目标项，随机生成头容易收缩成“代表性答案”，失去多模态能力。 CALM 每个位置采样 $N=8$ 个生成向量 $\tilde{\mathbf z}_{i,n}$，并从真实 token 块的后验采样 $M=100$ 个目标 $\mathbf z_{i,m}$。最小化原文 Eq. (10)： 模型间距离只统计不同样本对，分母 $N(N-1)$ 与有序对求和相匹配。多目标采样是利用已知高斯后验减少估计方差；多模型采样则需要额外运行生成头。主干状态在这些样本间共享，故 $N=8$ 不表示完整 Transformer 运行八次。 从学习对象看，给定历史 token，生成头拟合的是“未来 token 块的条件分布经过 AE 后验映射后得到的混合分布”。语言建模误差与 AE 解码误差会共同影响最终 token 输出。 为什么不能直接使用平方距离？ 以下为对原式的教学推导。令 $\alpha=2$，则 模型自身方差在展开时抵消，评分只约束均值。对 $\mathbf y\sim Q$ 再求期望，只要求模型均值等于 $Q$ 的均值，无法唯一确定分布。这解释了 $\alpha=2$ 时严格适当性丢失，以及 Table 4 的失败结果。 对于长为 $T$ 的输出，主干推进次数由约 $T$ 变为约 $T/K$。当使用温度批采样时，同一步还要生成、解码多个候选，因此主干步数、生成头调用数和最终耗时需要分别计算。 能量损失依赖 AE 潜空间的尺度和几何结构，难以直接跨模型比较。作者回到离散输出，使用分数越高越好的 Brier 形式： 其期望可分解为 第二项只依赖真实分布；最大化分数等价于减小概率向量的平方距离。这是 Brier 单项严格适当性的直接理由。[§4.2，p. 8，Eqs. (12)–(13)] 因为 $\sum_xP(x)^2=\Pr(X_1=X_2)$，用两个独立样本就可构造无偏估计： 命中参考答案得到奖励，两次样本相同受到扣分；后者防止靠一味收缩分布提高命中率。对于 $n$-gram，把完整的 $n$ 个 token 视为一个原子结果，匹配要求整段完全相同。先聚合每个阶数的评分，再计算 对应 Eqs. (14)–(15)，p. 9。它衡量给定真实前缀后的短续写分布，而不是自由生成文章的连贯性。Table 5 中的 Brier-1 等数值按百分制展示；例如原始 0.2181 对应表内 21.81，不能把百分制分量相乘后再重复乘 100。 来源：Fig. 3，p. 9。横轴交叉熵越低越好，纵轴 BrierLM 越高越好，颜色对应三个基线规模及其训练检查点。Pearson 为 −0.966，Spearman 为 −0.991，说明在这些基线检查点上，两种评价的排序高度一致。 复合指标的理论边界（本次分析）。 无偏性属于上面的 Brier 单项估计；对估计值再取几何平均是非线性操作，有限样本下的复合 BrierLM 一般不再无偏。在所有总体 Brier-$n$ 分量为正、评价上下文固定时，每项都在真实对应分布取得最大值，几何平均也保留这一最优点；这并不自动给出对任意模型的全局严格适当评分。 一个具体原因是 Brier 单项可以为负：真实续写确定为 这一边界也出现在作者公开实现中： 此外，公开实现对 $K\ge4$ 从每个块的起点计算前 1–4 个 token 的评分；当 $K=8$ 时，后四个 token 没有被直接计入同一步的 Brier-$n$。因此跨 $K$ 比较时还需考虑覆盖范围。这里是公开实现补充，与论文自身的理论推导分开理解。作者实现的评价代码 本节 $T$ 表示温度。给定只能采样的离散块分布 $P(x)$，目标为 这里的 $x$ 是解码后的完整 $K$-token 块。若在连续向量本身上要求两次样本完全相同，通常碰撞概率为零；可行性来自离散解码后的有限样本空间。[§5.1，pp. 10–11] 整数逆温度。 当 $T=1/n$，独立抽取 $n$ 个块，只有完全相同时才接受。单轮接受某个 $x$ 的概率是 $P(x)^n$，反复重试后就得到归一化的目标分布。例如 $T=1/2$ 时，相同样本对的碰撞让高概率块被平方加权。 一般逆温度。 令 $1/T=n+\alpha$，其中 $n=\lfloor1/T\rfloor$、$0\le\alpha<1$。第一阶段执行上述 $n$ 次碰撞；若 $\alpha>0$，对候选 $x^*$ 再执行 Bernoulli factory：第 $i$ 次抽样若命中 $x^*$ 就接受，否则以概率 $\alpha/i$ 拒绝并重启，剩余概率继续下一次。[Algorithm 1，p. 10] 设 $p=P(x^*)$，第二阶段最终接受概率为 等式由广义二项式展开得到。因此单轮接受 $x$ 的概率是 $P(x)^nP(x)^\alpha=P(x)^{1/T}$，即 Theorem 1 的关键证明。[附录 A.1，p. 30，Eqs. (16)–(18)] Theorem 2 给出 Algorithm 1 产生一个有效块所需的期望基础采样次数： 证明可沿三步理解：每轮第一阶段固定花 $n$ 次；给定候选 $x$，第二阶段条件平均花 $P(x)^{\alpha-1}$ 次；把候选出现概率 $P(x)^n$ 加权后，再除以单轮成功率 $Z_T$。[§5.2，p. 11；附录 A.2，pp. 31–32，Eqs. (19)–(29)] 对于 $T\le0.5$，分子不超过 $n+1$，但 $Z_T$ 可能很小。对于 $0.5 一个教学例子能显示低温开销：若基础分布在 $S$ 个块上均匀，$T=1/n$ 时有 $Z_T=S^{1-n}$，因此平均需要 $nS^{n-1}$ 次采样。即使温度变换后的分布仍然均匀，这个通用碰撞算法也可能付出很高代价。 Algorithm 2 针对 $T=1/n$，一次抽取较大的 $N$ 个块。若块 $x$ 出现 $c_x$ 次，就赋予权重 这统计的是批内有多少个“全部相同的 $n$ 元子集”。例如某批中 A 出现 3 次、B 出现 2 次，$n=2$ 时权重分别为 3、1，于是条件输出概率为 3/4、1/4。如果没有任何块达到 $n$ 次，则依次降低匹配阶数，直到有候选。最坏降到 1，总能返回结果。[§5.3，pp. 11–12，Algorithm 2] 有限批次有偏，因为权重比例的期望一般不等于期望权重的比例，fallback 也改变了有效温度。Theorem 3 证明的是 $N\to\infty$ 时一致收敛： 在这里有限的块空间内，选任意 $P(x)>0$ 的块，其计数随 $N$ 增长，故 fallback 概率趋于零；再利用归一化权重落在 $[0,1]$ 的有界性，就得到输出概率的期望收敛。这补足了附录证明中未展开的 fallback 环节。[附录 A.3，p. 33，Eqs. (30)–(37)；fallback 解释为本次推导] 还需区分两种温度对象：本文精确算法变换的是当前整个块的条件概率 $P(x_{1:K}\mid h)$；传统 LM 通常逐 token 缩放 logits。后者含有随块内历史变化的归一化因子，因此一般不等于把原始块联合概率整体升幂。后文曲线接近说明某些准确率—碰撞率行为相近，不意味着两者输出分布完全相同。 来源：§7.1，pp. 14–15，Table 1 表注。其上下文比较固定的是主干步数，而不是原始 token 窗口；$K=4$ 模型可见 8192 token。这也是计算—质量折中的组成部分，不能把主结果当作固定 token 上下文下对单一输出头的替换实验。 同名字母描述主干形状，不代表 CALM 与离散 Transformer 总参数相等：输入输出层结构不同，CALM 还要计入 AE。 AE 与架构消融使用较小的固定 LM：隐藏宽度 768、12 层、16 注意力头、FFN 宽度 2048、3 个生成头 MLP 块，训练 50K 步。下文约 4.70 的分数属于这组协议，不能直接与主表 250K 步的大模型比较。[§7.3–7.4，pp. 16–17] 实验分别检验：AE 正则是否改善下游可学性；生成头是否需要迭代；能量损失的采样量与指数怎样影响优化；离散输入是否比连续输入更容易供主干使用。温度实验则在匹配 BrierLM 的模型检查点上比较命中率与碰撞率的变化。[§7.5，pp. 19–20] 来源：Table 1，p. 15。作者重点对比 CALM-M 与 Transformer-S：训练 FLOPs 减少 $1-3.7/6.6=43.9\%$，推理 FLOPs 减少 $1-2.9/4.4=34.1\%$，BrierLM 低 0.33 个分数点。CALM-XL 对 Transformer-L 的训练、推理 FLOPs 分别少约 13.3%、37.3%，分数低 0.45。 这组结果的机制含义是：较大的主干可以被调用更少次，以较低计算量获得接近较小离散模型的分布建模质量。对应模型的分数并不完全相等，不能把“comparable”写成严格等质量。表中也没有 GPU 吞吐、首 token 延迟或真实生成时延；而温度控制的多候选生成会另外增加开销。 来源：Fig. 4，p. 16。横轴为总训练 FLOPs，图内倍率为 $10^{21}$，纵轴为 BrierLM。蓝线通过 Transformer 不同规模的结果，橙线固定 CALM-L 主干并改变 $K$。 当 $K=1$，连续生成承担了额外学习难度，却没有减少主干步数，因而比离散基线更贵且更弱。$K=1\to2$ 大幅减少计算而只损失少量分数；$K=4$ 形成较好的折中；$K=8$ 的分数下降明显。作者将后者解释为模型容量不足，提出更大模型或可支持更高 $K$，但本文未建立 $(\text{参数量},\text{数据量},K)$ 的 scaling law。[§7.2，pp. 15–16] 来源：Fig. 5，p. 16。横轴是训练步数而非 FLOPs，纵轴是 BrierLM。CALM-XL 早期落后于 Transformer-M，随后超过它并逐渐接近 Transformer-L。作者解释为连续块分布的学习启动较慢，后期较大容量发挥作用；图本身展示的是学习动态，不能按相同步数当作相同计算预算。 来源：Table 2，p. 17。普通 VAE 的 128 维中有 71 维塌缩到标准高斯；加入 KL clipping 后下游分数恢复并超过仅重建基线。两种 dropout 分别有效，组合进一步提高分数。完整方案比仅重建高 0.71 个分数点。 这给出了比“AE 重建很准”更强的机制证据：下游性能与潜空间是否易于建模有关。只优化压缩精确性可能产生过于精细的编码；无约束地把分布压回先验，又可能损失用于重建的有效维度。 来源：Fig. 6，p. 17。横轴是 KL 权重，蓝线与左轴表示下游 BrierLM，红虚线与右轴表示 AE token 重建准确率。适度正则能保持重建率并提高下游表现，$\beta=0.001$ 最好；$\beta=0.1$ 时重建率降至约 99%，下游也明显变差。 来源：Fig. 7，p. 17。横轴潜维度取 32、64、128、256，左右轴和颜色含义与 Fig. 6 相同。重建率都高，下游分数却在 128 维达到峰值。这个实验同时把 dropout 调为 0.05、0.10、0.15、0.20，因而反映的是维度与正则共同变化的配置选择，不能只归因于维度。 作者还尝试把编码器/解码器深度增至 4 层、隐藏宽度增至 1024、AE 数据增至 100B token，均未见明显下游改善。当前任务的关键更偏向表示几何与训练目标，单纯扩大 AE 没有带来对应收益。[§7.3，p. 17] 来源：Fig. 8，p. 18。横轴训练步数，纵轴 BrierLM；能量头、flow matching、diffusion 共享小模型实验协议。后两种方案训练时也将条件状态复制 8 份；常规评价使用 100 个迭代步，flow matching 使用 midpoint 求解器。Flow 早期收敛较快，能量头的最终分数更高，diffusion 最弱。 来源：Fig. 9，p. 18。横轴为对数尺度的采样迭代数，纵轴 BrierLM；蓝星是一次前向的能量头。Flow midpoint 在 2 步已有较好质量、4 步接近饱和，diffusion 要多得多的步数。迭代步数与实际网络函数调用次数还取决于求解器，midpoint 的一步不应直接当成一次网络调用。 来源：Table 3，p. 18。增加模型样本使估计更充分，但 $8\to12$ 只增加 0.02 分，成本增加 13%。从目标后验多采样较便宜，但不是完全免费。原文正文说增加采样数持续提高分数，表内 $M=200$ 实际由 4.70 降至 4.67；因此准确结论是默认设置在这些结果中较均衡，收益并不严格单调。 来源：Table 4，p. 19。$\alpha<1$ 时作者报告梯度爆炸；这与严格适当性不矛盾，因为总体目标能识别正确分布，并不保证优化轨迹稳定。默认 $\alpha=1$ 在这组实验最好；$\alpha=2$ 只约束均值，与上文推导一致。 来源：Table 5，p. 19，Brier-$n$ 分量按百分制列示。离散输入比纯连续输入高 1.45 个 BrierLM 分数点，组合也未超过离散输入。作者的解释是，连续表示虽然保留信息，主干仍难以从紧凑向量中拆解出有用结构；让 AE 解码器先完成这一步，给主干提供熟悉的 token 嵌入更有效。 因此 CALM 的成功依赖两种接口配合：在输出端通过连续变量联合生成 token 块，在输入端通过离散表示保持可学性。把它理解为全程在一个语义潜空间里自由推演，会遗漏最重要的实证设计之一。 论文把评分拆成两个量：命中参考 $n$-gram 的概率（accuracy），以及两个独立样本完全相同的概率（collision rate）。分别对 $n=1,\ldots,4$ 取几何平均展示。碰撞率越高表示分布越集中、此意义下的多样性越低；命中率也不是通常分类任务的准确率。[§7.5，pp. 19–20] 来源：Fig. 10，p. 20。横轴碰撞率、纵轴命中率，均为百分制。蓝线固定 $T=1/3$、把 $N$ 从 1 调到 1000；橙线固定 $N=500$、把 $T$ 从 $1/2$ 调到 $1/6$。增加 $N$ 和降低温度都使分布集中，但 $N$ 覆盖的变化区间更大。有限批大小限制了能找到哪些高频块，故标称温度的作用会被候选数限制。 来源：Fig. 11，p. 20。使用近似相同 BrierLM 的检查点，CALM 固定 $T=1/3$ 并调整 $N$，Transformer 则调整 softmax 温度 1.0 至 0.4。两条命中率—碰撞率轨迹接近；作者报告 $N\approx100$ 的行为接近 Transformer 温度 0.6，$N\approx200$ 接近 0.5。 这些候选可以共享主干状态并批量计算，仍需承担多次生成头与 AE 解码开销。这里证明了采样控制的可行性及其经验效果，实际低温生成速度需要连同候选预算重新测量。 CALM 把“模型每步输出多少文本”变成一个可调的设计变量。它的贡献来自整套接口：AE 提供鲁棒的块表示；能量损失允许直接训练单步随机生成器；Brier 单项评分提供无需似然的分布评价；碰撞采样给隐式离散分布建立温度控制。这套组合展示了在当前实验规模下，用少量质量差距换取显著 FLOPs 减少的可能性。 最有迁移价值的经验是先保证潜空间可学，再追求压缩率。仅重建、普通 VAE、连续反馈的消融都表明，保留信息并不足以保证下游模型容易使用这些信息。默认 $K=4$、$l=128$ 和离散反馈，是在表示容量、正则化与预测难度之间找到的具体折中。 对后续研究，最直接的三个问题是： 这篇论文适合被视为“块级连续输出语言模型及其工具链”的完整原型。它把一个架构想法推进到了可训练、可比较、可调采样的阶段，也清楚暴露了表示学习、指标定义和推理预算之间的相互制约。2.2 自编码器：高重建率只是第一步
2.3 生成头：一次前向采样一个相关的 token 块
2.4 能量损失：把贴近目标和保持多样性放在同一个目标中
2.5 训练与推理的分工
2.6 BrierLM：只比较样本也能评价概率分布
AAAA，模型确定输出首 token 就不同的 BBBB 时，四个阶数都得到 −1。通常意义的几何平均要求非负分量；若直接按 Eq. (15) 的“乘积再开四次方”延伸，这个完全错误的模型反而得到 100，与完全正确的模型相同。compute_metrics 使用 max(b1*b2*b3*b4, 0)**0.25，对乘积截断不能排除偶数个负分量的情况。上述反例针对指标定义，不表示 Table 1 的正常正分量结果出现了这种问题。作者实现固定提交的聚合代码2.7 黑盒温度采样：在解码后的离散块上碰撞
2.8 正确性与采样代价是两个不同问题
2.9 批近似：用组合权重提高样本利用率
三：实验——如何比较表示、模型与计算
3.1 主实验配置
项目 原文配置及比较含义 训练语料 Pile uncopyrighted，经 Llama 3 tokenizer 得到约 230B token 评价 WikiText-103；核心指标 BrierLM，越高越好 AE 阶段 约 15B-token 子集，30K 步，每批约 512K token；隐藏宽度 512，潜维度 $32K$，约 75M 参数 LM 阶段 使用其余数据，250K 步，每批约 2M token；按乘积计是约 500B token 的训练暴露量，不应写成新增 500B 独立语料 上下文 2048 个主干位置；普通 Transformer 是 2048 token，CALM 是 $2048K$ token 架构 LLaMA 风格 Transformer：RMSNorm、SwiGLU、RoPE；CALM 加输入压缩和生成头 优化 AdamW，$\beta_1=0.9,\beta_2=0.95,\epsilon=10^{-8}$；学习率 $3\times10^{-4}$，常数日程，2000 步 warmup；权重衰减 0.1，梯度裁剪 1.0 FLOPs 口径 Table 1 包含 75M AE 参数、AE 训练以及编码/解码 FLOPs；attention 成本按上下文长度 2048 计算 主干规模 层数 隐藏宽度 FFN 中间宽度 S 12 768 2048 M 16 1024 2752 L 16 1536 4096 XL 16 2560 6880 3.2 消融回答的四组问题
四：结果——逐组解释证据
4.1 主结果：计算减少伴随着小幅分数差距
模型 总参数 训练 FLOPs（$10^{20}$）↓ 每 token 推理 FLOPs（$10^8$）↓ BrierLM ↑ Transformer-S 281M 6.6 4.4 6.05 Transformer-M 465M 11.9 7.9 7.07 Transformer-L 849M 22.5 15.0 8.98 CALM-M，$K=4$ 371M 3.7 2.9 5.72 CALM-L，$K=4$ 735M 7.7 4.6 6.58 CALM-XL，$K=4$ 1.82B 19.5 9.4 8.53 4.2 改变 $K$：压缩步数和增加预测难度相互竞争
4.3 自编码器：正则化必须兼顾信息保留
AE 配置 下游 BrierLM ↑ 仅重建 3.99 普通 KL 3.48 KL clipping 4.13 KL clipping + token dropout 4.55 KL clipping + latent dropout 4.46 KL clipping + 两种 dropout 4.70 
4.4 生成头：能量目标同时改善质量和采样步数
4.5 能量估计的采样量：质量收益很快变小
模型样本 $N$（固定 $M=100$） BrierLM ↑ 相对训练成本 ↓ 2 4.37 0.82× 4 4.53 0.91× 8 4.70 1.00× 12 4.72 1.13× 目标样本 $M$（固定 $N=8$） BrierLM ↑ 相对训练成本 ↓ 1 4.50 0.92× 16 4.56 0.94× 100 4.70 1.00× 200 4.67 1.07× 能量距离指数 $\alpha$ 0.75 1 1.25 1.5 1.75 2 BrierLM 训练失败 4.70 4.42 4.46 4.30 0 4.6 离散反馈是性能关键
主干输入 Brier-1 ↑ Brier-2 ↑ Brier-3 ↑ Brier-4 ↑ BrierLM ↑ 解码后的离散 token 21.81 6.88 2.59 1.25 4.70 连续潜向量 17.43 5.04 1.74 0.73 3.25 二者表示相加 21.17 6.49 2.44 1.12 4.40 4.7 温度采样：可控性有了，但需要候选预算
五：结论——这篇论文真正推进了什么