# ConceptLM：在离散潜在空间预测下一个概念

**原题名：** Next Concept Prediction in Discrete Latent Space Leads to Stronger Language Models  
**作者：** Yuliang Liu、Yunchong Song、Yixuan Wang、Kewen Ge、Alex Lamb、Qipeng Guo、Kai Chen、Bowen Zhou、Zhouhan Lin  
**版本：** arXiv:2602.08984v1，提交于 2026-02-09；PDF 首页标注 2026-02-10。  
**获取及研读日期：** 2026-09-28。  
**材料：** [arXiv 页面](https://arxiv.org/abs/2602.08984v1) · [原文 PDF](../source/paper.pdf) · [作者 TeX 主文件](../source/tex/files/main.tex) · [英文幻灯片](slides.en.pdf)。

本次以同版本作者 TeX 为主要阅读材料，并对照 25 页 PDF，覆盖正文全部章节、附录 A–E、全部五幅图及与结论有关的实验表格。实际阅读了 `main.tex` 引用的 `files/1-intro.tex` 至 `files/7-appendix.tex` 及相应表格文件；源码目录中未被主文件引用的遗留内容不作为证据。以下页码均为从 1 开始的 PDF 页码，与本版印刷页码一致。论文的关键公式没有编号，因此用章节与页码定位。

补充静态查看了[作者公开仓库](https://github.com/LUMIA-Group/ConceptLM)的 Pythia 实现，以核对移位和梯度截断；固定提交为 `a0ab281286f5c0337c35de3181cc992c562eacaa`。这项代码核对不等于复现实验，也不能保证当前代码就是所有论文实验使用的训练版本。

## 论文总览

论文的问题是：如果语言模型只学习预测下一个 token，能否充分学到跨多个 token 的结构？作者在标准自回归语言模型中加入一个较慢的“概念”分支：把连续若干个 token 的隐藏状态平均成一个向量，用分段向量量化构造概念词表，再预测下一块的概念表示，并把预测结果加回 token 隐藏状态。训练同时使用下一个 token 预测（NTP）、下一个概念预测（NCP）和码本拟合目标。

最值得保留的结论是：**在文中所测的小模型预训练设置下，分块概念建模与显式概念监督通常改善语言建模和平均下游表现；8B 持续预训练只提供较小的增益证据。** Pythia-160M 骨干、300B tokens 下，九项任务平均准确率从基线的 40.3% 提升到 42.9%，强对照 ContextLM 为 42.0%。但 8B 实验中，ConceptLM 平均分 47.6，对参数匹配模型为 +0.4 分，对普通持续预训练模型仅为 +0.1 分。[Table 2，p. 8；Table 3，p. 9]

理解标题时要保留三个限定：

- “概念”是固定长度 token 块的潜在表示，不是人工标注的语义概念，也不保证对应完整词、短语或句子。
- 离散的是码本及量化表示；实际送入解码器的预测概念是码本向量的**加权组合**，并非每次硬采样一个概念 ID。
- NCP 在本论文中使用连续表示的均方误差（MSE），不是对离散概念 ID 直接做交叉熵分类。最终文本依然逐 token 自回归生成。

## 结构地图

| 原文章节 | 主要作用 | PDF 页码与证据 |
| --- | --- | --- |
| 1. Introduction | 提出更高层次预测的动机与贡献 | pp. 1–2；Fig. 1 |
| 2. ConceptLM Architecture | Encoder、概念词表、概念预测、Decoder 对齐 | pp. 3–5；Figs. 2–3 |
| 3. ConceptLM Training | 三个损失及其梯度职责 | pp. 5–6；无编号公式 |
| 4.1. Experimental Setup | 骨干、数据与默认结构 | p. 6 |
| 4.2. Pre-train ConceptLM from Scratch | GPT-2 与 Pythia 预训练结果 | pp. 6–8；Tables 1–2 |
| 4.3. Continual Pre-train ConceptLM on 8B models | Llama-3.1-8B 扩展 | p. 9；Table 3 |
| 5.1–5.2. Components / Training Objectives | 结构比较与损失消融 | pp. 9–10；Table 4 |
| 5.3–5.5. Long-range / Scaling / Complexity | 序列长度、加深与成本 | pp. 10–12；Fig. 4；Tables 5–6 |
| 6. Related Work；7. Conclusion | 方法定位与作者总结 | pp. 12–13 |
| References | 文献目录 | pp. 14–17 |
| A. NCP versus NTP | 输入、词表、生成与损失对照 | p. 18；Table 7 |
| B. Experiments Setting | 插入位置、训练超参数 | pp. 18–20；Tables 8–12 |
| C. 8B Models Computation Cost；D. Downstream Tasks | FLOPs 估算与任务类别 | pp. 19–20；Table 13 |
| E. Experimental Results | GPT L1、插入深度、VQ、分块大小 | pp. 20–25；Fig. 5；Tables 14–18 |

## 一：动机——把预测对象从单个 token 提升到一块表示

标准 NTP 优化 $p(x_{t+1}\mid x_{\leq t})$。它当然可以学习长程依赖，但损失直接考察的单位仍是一个 token。作者认为，当模型越来越大时，仅靠这一目标可能不能充分利用容量，希望增加一个跨多个 token 的预测任务。

现有分层或压缩架构已经会把相邻 token/byte 合并后处理，但分层结构本身不等于在高层空间加入独立预测监督。多 token 预测（MTP）则直接预测未来多个 token，仍处于原词表空间。ConceptLM 的区别是：**共同学习一个概念词表，并对下一块的潜在表示提供显式训练信号。** [Sec. 1，pp. 1–2；Sec. 6，pp. 12–13]

这里的“预测任务更难，因此模型更强”是作者的机制解释。本文没有证明 NCP 的信息论难度更高，也没有用受控实验把任务难度、额外架构、正则化效应和优化变化完全分开。更稳妥的解读是：论文提出并验证了一种额外预测对象与训练结构，其收益与“更高层监督有帮助”的解释相容。

## 二：方法——概念的生成、监督与因果使用

### 2.1 整体数据流与符号

![原图 2：ConceptLM 的三条数据路径](figures/fig-02-architecture.png)

来源：Fig. 2，PDF p. 3，使用作者原始矢量图转 PNG。先看左边的 Encoder→概念模块→Decoder，再看中间的预测路径，最后看右边的训练期量化路径。图示使用三个 token 一组来说明结构；主实验的块长为四。

| 符号 | 含义与维度 |
| --- | --- |
| $T$、$d$ | token 序列长度、token/概念隐藏维度 |
| $k$、$M=T/k$ | 每块 token 数、概念序列长度；论文公式默认整除 |
| $h_t\in\mathbb R^d$ | 因果 Encoder 在 token 位置 $t$ 的输出 |
| $c_j\in\mathbb R^d$ | 第 $j$ 块的平均隐藏状态 |
| $S$、$N$ | 特征分段数、每段码本的向量数 |
| $e_n^s\in\mathbb R^{d/S}$ | 第 $s$ 段、第 $n$ 个码本向量；假设 $S$ 整除 $d$ |
| $\hat c_j\in\mathbb R^d$ | 根据历史块预测的第 $j$ 块概念 |
| $\tilde h_t\in\mathbb R^d$ | 添加可用预测概念后的 token 隐藏状态 |

Encoder 并不是额外的双向文本编码器。它由骨干前面的因果层构成；默认 Pythia/Llama 使用第一层作 Encoder，其余原有层作 Decoder；GPT-2 主实验在第一层之前插入概念模块，所以此时可理解为从 token 嵌入开始合并。全模型仍然有 token 层，只有新增的概念层处理压缩序列。[Sec. 2，pp. 3–5；Sec. 4.1，p. 6；App. B.2，pp. 18–19]

### 2.2 从 token 隐藏状态构造概念词表

下面用从 0 开始的块编号展开原文的 mean pooling：

$$
c_j=\frac{1}{k}\sum_{r=0}^{k-1}h_{jk+r},\qquad j=0,\ldots,M-1.
$$

这一定义是对 Sec. 2.2 文字描述的数学展开。由于 $h_t$ 已经编码历史，$c_j$ 不只是当前块 token 嵌入的平均，它也可能携带此前上下文。

把 $c_j$ 沿特征维度切成 $S$ 段，每段用自己的码本做最近邻向量量化（VQ）。各段索引组合在一起，理论上有 $N^S$ 种离散组合。实际并不建立一个含 $N^S$ 行的大表：每段只有 $N$ 个长度为 $d/S$ 的向量，基础码向量总量为 $Nd$ 个标量，另有变换网络和预测头参数。[Sec. 2.2，p. 4]

主实验 $N=64$，$S$ 等于骨干注意力头数；概念层为两层 Transformer，$k=4$。码本向量经过两层 MLP 和 ReLU 变换，作者借鉴 SimVQ 来缓解码本塌缩。这里的“词表”随着训练共同更新，既不是 BPE 词表，也没有外部语义标签。[Sec. 4.1，p. 6；App. E.3，p. 21]

### 2.3 概念预测的输出仍是连续向量

概念 Transformer 处理历史的**连续**块表示。每个分段有一个预测头，输出 $N$ 个系数，随后计算：

$$
\hat c_j^s=\sum_{n=1}^{N}w_{j,n}^s e_n^s,
\qquad
\hat c_j=\operatorname{concat}(\hat c_j^1,\ldots,\hat c_j^S).
$$

预测 $\hat c_j$ 只使用 $c_{<j}$；原文中相应时间索引写法不完全统一，上式显式写出目标块编号。通过这种可微组合，token 损失可以指导如何使用概念表示，不必在前向路径中硬选一个离散索引。[Sec. 2.2，p. 4；App. A，p. 18]

**系数归一化不能擅自补成 softmax。** 论文一方面把 $w$ 写作概率符号，另一方面反复称它为 logits，未给出明确归一化公式。补充查看的公开 Pythia 路径直接把线性头输出与码本相乘，没有在该乘法前做 softmax。因此本笔记称其为“加权组合”，不把输出严格解释为离散采样或码本凸包中的概率期望。[公开实现：`ConceptLM_Pythiamodel.py`，概念头约 L146–L161、组合约 L513–L519；固定提交见文末]

### 2.4 关键的因果移位：未来块只作监督目标

假设 $k=4$。只有读完 $x_0,x_1,x_2,x_3$，才能得到完整的 $c_0$ 并预测 $\hat c_1$。此时 $h_3$ 用于预测 $x_4$，恰好可以使用 $\hat c_1$。随后 $h_4,h_5,h_6$ 继续使用它，分别预测 $x_5,x_6,x_7$。读到 $x_7$ 后，才可形成 $c_1$ 并预测 $\hat c_2$。

| Decoder 输入位置 $t$ | 预测 token | 可添加的概念 |
| --- | --- | --- |
| 0、1、2 | $x_1,x_2,x_3$ | 零向量 |
| 3、4、5、6 | $x_4,x_5,x_6,x_7$ | $\hat c_1$，来自 $c_0$ |
| 7、8、9、10 | $x_8,x_9,x_{10},x_{11}$ | $\hat c_2$，来自 $c_0,c_1$ |

这是本次教学展开，不是论文新实验。对应“重复每个预测概念 $k$ 次，再右移 $k-1$ 个位置”的一致写法为：

$$
\tilde h_t=
\begin{cases}
h_t,&t<k-1,\\
h_t+\hat c_{\lfloor(t+1)/k\rfloor},&t\geq k-1.
\end{cases}
$$

**上式是本笔记依据文字描述和公开 Pythia 移位路径整理的索引，不是原式的逐字抄录。** 原文 p. 5 使用 $\lfloor t/(k-1)\rfloor$，会令概念每 $k-1$ 步切换，与“广播 $k$ 次”不一致；不能直接拿该式实现。原文 Decoder 条件式另写为 $\tilde h_{<t}$，也存在是否包含当前位置的记号问题。[Sec. 2.3，pp. 4–5；公开 Pythia 实现约 L534–L545]

训练中可以计算未来块 $c_j$ 来作损失目标，但 Decoder 接收的是预测值 $\hat c_j$，而非真实未来值或其量化结果。这是因果性成立的核心。推理时按已完成的块更新概念预测，token 仍逐个生成；训练期用于拟合码本的最近邻量化不必成为每步生成操作。

### 2.5 三个损失分别做什么

![原图 3：前向数据流与损失梯度](figures/fig-03-gradients.png)

来源：Fig. 3，PDF p. 3。灰色箭头表示前向路径，蓝色对应 NTP，橙色对应 NCP，绿色对应 VQ。读图时应关注损失影响哪些模块，不能只看总损失的加号。

**NTP：保留语言建模目标。** 对真实下一 token 做交叉熵，通过 Decoder、融合路径及上游模块提供文本生成监督。用统一的本笔记索引，可写为 $-\sum_t\log p(x_{t+1}\mid\tilde h_{\leq t})$。

**NCP：让预测概念接近下一块连续表示。** 原文写为：

$$
\mathcal L_{\mathrm{NCP}}=\frac{1}{M-1}\sum_{j=1}^{M-1}\|\hat c_j-c_j\|_2^2.
$$

监督目标是连续 $c_j$，不是量化索引。原文强调该损失通过概念预测分支更新 Encoder，使它形成适合预测下一块的表示。公开 Pythia 实现对目标侧使用 `detach()`，但概念 Transformer 的输入仍保留梯度；因此目标停止梯度与 Encoder 从预测分支学习并不矛盾。论文公式本身未显示这个目标侧截断。[Sec. 3，p. 5；公开实现约 L480、L498–L505、L529]

**VQ：让码本跟随连续潜在表示。** 原文公式为：

$$
\mathcal L_{\mathrm{VQ}}=\|\operatorname{sg}(c)-d_q\|_2^2
+\beta\|c-\operatorname{sg}(d_q)\|_2^2.
$$

这里用 $d_q$ 表示原文的量化向量 $d\in\mathcal D_c$，避免与隐藏维度 $d$ 混淆；$\operatorname{sg}$ 是停止梯度。第一项拟合码本，第二项按通常数学含义会对 $c$ 产生梯度。因此，若直接照抄公式而不在 VQ 入口截断 $c$，就与作者“VQ loss 不影响表示学习”的文字和 Fig. 3 冲突。公开 Pythia 路径把池化表示先 `detach()` 再送入 VQ，支持作者意图，但量化器内部行为、训练版本与损失系数仍需单独确认。论文没有完整给出 $\beta$ 的数值与所有损失的 reduction 口径。[Sec. 3，p. 5]

总目标写作：

$$
\mathcal L=\mathcal L_{\mathrm{NTP}}+\mathcal L_{\mathrm{NCP}}+\mathcal L_{\mathrm{VQ}}.
$$

不能由三个系数都写作 1 推出三种监督的数值影响相同：token 数、维度以及 `sum`/`mean` 口径都会改变相对梯度尺度。作者称训练端到端，并不意味着每个损失都必须更新每一个模块。[Sec. 3，pp. 5–6]

### 2.6 这套设计带来的能力与限制

概念层在长度 $T/k$ 的序列上做全局交互，有较低的序列处理成本；Decoder 同时保留 token 级细节和下一块的粗粒度预测。但固定平均池化会丢失块内区分信息，块长与语义边界不对齐，错误的概念预测也可能干扰后续 token。残差 token 路径有助于保留原信息，但论文没有证明这些影响完全消失。

所谓“先规划再生成”可以理解为对未来块的一个内部摘要预测。论文未提供可解释计划、概念语义标注或可控规划任务的直接验证，因此不应把它等同于明确的多步推理规划器。

## 三：实验——先把预算和对照分清

### 3.1 训练设置

| 实验 | 骨干规模标签 | 数据及 token 数 | 序列长度 / batch size |
| --- | --- | --- | --- |
| GPT-2 从头预训练 | 124M、355M、774M、1.5B | OpenWebText，8B | 1024 / 512 |
| Pythia 从头预训练 | 70M、160M、410M | The Pile，300B | 2048 / 1024 |
| Llama 持续预训练 | Llama-3.1-8B | LongCtxEng，9.6B | 8192 / 96 |
| 默认消融 | Pythia-160M | The Pile，30B | 沿用该系列设置，除非小节改变变量 |

来源：Sec. 4.1，p. 6；Sec. 5，p. 9；App. B，Tables 8–12，pp. 18–20。表中规模主要指基础骨干，ConceptLM 和 PM 加层后的实际总参数不等于该标签。原文实验概述把 GPT-2 起点写作 160M，而主结果 Table 1/2 和超参数 Table 10 标为 124M；此处依照详细表标记，保留这一口径差异。

GPT-2 四个规模的学习率依次为 $10^{-3},8\times10^{-4},6\times10^{-4},4\times10^{-4}$；Pythia 三个规模为 $10^{-3},6\times10^{-4},4\times10^{-4}$；Llama 为 $10^{-5}$。文中说遵循官方超参数，但没有在该文完整列出所有优化器、学习率日程、训练随机种子、数据切分与评估提示设置，不能用惯例补成“已报告”。

### 3.2 对照模型的角色

- **Base / 标准骨干：** 原来的 token 模型，衡量整个改动带来的收益，但本身没有匹配 ConceptLM 的新增层数和参数。
- **PM（Parameter-Matched）：** 增加两层 token Transformer，对照两层概念 Transformer。GPT-2 的小码本开销没有完全匹配；文中说最大 XL 配置的码本总参数低于 2M。参数匹配也不等于 FLOPs 匹配，因为概念层输入更短。
- **ContextLM：** 具有高层压缩/概念建模、没有本文显式离散概念词表与 NCP 监督的强对照。Pythia 的 Base 和 ContextLM 结果来自前作，作者称对齐训练评估条件；这与在本研究内对所有基线重新独立训练是不同的证据条件。
- **MTP：** 在小规模消融中预测四个未来 token 的对照。只有一个小模型实验，不能推断 NCP 在所有大规模设置下都优于 MTP。

来源：Sec. 4.2，pp. 6–8；Sec. 5.2，p. 10。

### 3.3 指标的含义

主实验有九项下游准确率：Lambada OpenAI/Standard、ARC-Easy/Challenge、WinoGrande、PIQA、HellaSwag、SciQ、RACE，越高越好；以及四项语言建模 PPL：训练分布、WikiText、两个 Lambada 版本，越低越好。“13 benchmarks”在这里更准确地说是 **9 项下游评测加 4 项语言建模评测**，并非 13 个互不重复的数据集。

论文的 Avg PPL 是不同数据集 PPL 的算术平均。它不是把所有测试 token 合起来计算的整体困惑度，尤其容易受 Lambada Standard 的大数值主导。下文优先同时列出分项或注明平均口径。准确率从 40.3% 到 42.9% 是 **2.6 个百分点**，不是相对增长 2.6%；按显示值计算相对增长约 6.45%。

除 The Pile、OpenWebText 外，论文使用 lm-evaluation-harness v0.4.4。消融表明确标注 zero-shot；主表和 8B 表没有完整列出逐任务 few-shot、归一化及生成评分配置。尤其 SQuAD 2.0 只给出分数，未明确标注这里选用 EM 还是 F1，因此下文称其为“表中分数”，不自行改称准确率或 F1。[Sec. 4.2 脚注，p. 6；Tables 3–4，pp. 9–10]

## 四：结果——收益出现在哪里，证据边界在哪里

### 4.1 GPT-2：优于 token 基线，但并非所有强对照都落后

以下数值为原表报告值，规模均是基础骨干标签。ConceptLM 为主实验 L0 插入设置。

| GPT-2 骨干 | Base Avg PPL ↓ | PM ↓ | ContextLM ↓ | ConceptLM ↓ |
| --- | --- | --- | --- | --- |
| 124M | 101.94 | 99.14 | 87.19 | 84.75 |
| 355M | 52.57 | 52.55 | 43.06 | 40.51 |
| 774M | 36.35 | 32.89 | 31.80 | 29.61 |
| 1.5B | 29.68 | 30.01 | **25.93** | 26.38 |

来源：Table 1，PDF p. 7。例如 355M 组中，ConceptLM 的 OpenWebText PPL 为 16.81，低于 Base 的 17.97 和 PM 的 17.67；说明平均 PPL 的改善不只来自一项 Lambada。1.5B 组 ContextLM 的 Lambada Standard PPL 为 44.62，优于 ConceptLM 的 47.06，并带来更低的 Avg PPL；所以不能说 ConceptLM 在所有语言建模项目和所有规模都最好。

| GPT-2 骨干 | Base Avg Acc ↑ | PM ↑ | ContextLM / 原表第三行 ↑ | ConceptLM ↑ |
| --- | --- | --- | --- | --- |
| 124M | 38.0 | 38.4 | 39.1* | 38.9 |
| 355M | 40.6 | 41.4 | 41.9 | 42.3 |
| 774M | 42.8 | 42.8 | 43.9 | 44.0 |
| 1.5B | 43.9 | 43.5 | 45.0 | 45.1 |

来源：Table 2，PDF p. 8。单位为百分数。*124M 组第三行在原表中也写成 `ConceptLM`，而其他规模对应行写 `ContextLM`；Table 14 也存在相似标签问题。不能在未获作者确认时擅自改名。因此该行保留为身份有歧义的第三行，只能确定最后的灰底 ConceptLM 行为 38.9。原文“所有规模均取得最佳平均表现”的概括强于表格本身。

附录 E.1 比较 GPT-2 模块放在首层前 L0、首层后 L1。L1 的平均准确率依次为 38.7、41.5、43.5、44.7，均低于主实验 L0 的 38.9、42.3、44.0、45.1。插入位置是实质性超参数，不能把两种设置的结果混为一组。[Table 14，p. 23]

### 4.2 Pythia：160M 最突出，410M 对强基线增益较小

| 骨干 | Base / ContextLM / ConceptLM Avg Acc ↑ | Base / ContextLM / ConceptLM Avg PPL ↓ |
| --- | --- | --- |
| 70M | 34.6 / 38.2 / 38.2 | 297.72 / 142.71 / 137.70 |
| 160M | 40.3 / 42.0 / 42.9 | 67.87 / 43.09 / 34.23 |
| 410M | 47.5 / 48.2 / 48.3 | 17.84 / 15.82 / 15.31 |

来源：Tables 1–2，pp. 7–8；The Pile 300B tokens。平均值按原表保留。160M 的 ConceptLM 四项 PPL 为 10.93、27.01、20.01、79.32，其显示值均值为 34.3175，约 34.32，与原表 34.23 不一致；这一差异不改变相对排序。基线 67.87 到原表 34.23 的差为 33.64，原表绿色标注的 33.54 也与显示值不符。

分项上，160M 的 Lambada OpenAI 准确率从 ContextLM 的 37.2 提高到 41.8，但 ARC-Challenge 从 19.5 降到 18.3，PIQA 从 62.9 降到 62.1。70M 与 ContextLM 的平均准确率按一位小数持平；410M 只高 0.1 个百分点。语言建模方面，70M 和 410M 的训练分布 PPL 略逊于 ContextLM，分别为 15.00 对 14.96、8.70 对 8.67，但其他所列语料更好。

这些结果支持“收益与规模、任务有关”。作者把跨数据集表现改善归因于离散概念词表储存稳定的概念表示，这是解释，尚不是通过单一因素干预证明的机制。[Sec. 4.2，pp. 7–8]

### 4.3 Figure 1：三种资源轴上的经验优势

![原图 1 的三个面板：参数、训练 token、训练 FLOPs](figures/fig-01-scaling.png)

来源：Fig. 1，PDF p. 1；三个作者原图按原顺序并排，未改变坐标和数据。纵轴都是 PPL，越低越好；横轴依次为模型参数、训练 token 数和训练 FLOPs。黑线为 GPT-2，红线为 ConceptLM。

作者在接近最大基线性能处报告：达到相近效果需要约 63% 参数、76% tokens 或 81% FLOPs，即分别减少约 37%、24%、19%。这是三个图上分别读取的等性能比较，**不能解释为同一个模型同时将三项资源都降低这些比例**，也不是对所有目标 PPL 成立的普遍 scaling law。图中没有给出拟合参数、置信区间或多随机种子误差。[Sec. 4.2，p. 7]

### 4.4 8B 持续预训练：可迁移，但提升幅度小

| 模型 | MMLU | ARC-C | AGIEval | SQuAD 2.0 | Avg |
| --- | --- | --- | --- | --- | --- |
| Trained-8B | 64.3 | 34.8 | 54.2 | **36.7** | 47.5 |
| PM-8B | 64.5 | 35.0 | 53.3 | 36.1 | 47.2 |
| ConceptLM-8B | **64.6** | **35.1** | **54.2** | 36.5 | **47.6** |

来源：Table 3，p. 9；同为 LongCtxEng 上 9.6B tokens 持续预训练。Trained 保留原 32 层 token 模型；PM 加两层 token 层；ConceptLM 加两层概念层。新层以基座的前两层权重初始化。[Sec. 4.3]

对 PM 为 +0.4 平均分，对 Trained 为 +0.1，且 SQuAD 分数比 Trained 低 0.2。没有重复运行方差或显著性检验，故不能把 +0.1 解读为稳定的大模型能力突破。VQ loss 仍在下降，只说明码本仍在拟合；“继续扩大数据可能带来更大收益”是作者展望，不是本实验已经验证的结果。

### 4.5 结构与损失消融：联合监督有帮助，但收益不能全归给 NCP

Sec. 5.1 的结构证据主要来自 PM、ContextLM 和完整模型之间的比较，而非对每个因素完全正交的消融。更直接的损失对照是固定 ConceptLM 架构的 Table 4。

| 目标组合 | Avg Acc ↑ | Avg PPL ↓ |
| --- | --- | --- |
| token 模型 MTP，对照 | 38.4 | 81.16 |
| ConceptLM，仅 NTP | 39.6 | 69.28 |
| NTP + VQ | 39.8 | 75.64 |
| NTP + NCP | 39.5 | 76.30 |
| NTP + NCP + VQ | **40.3** | **68.13** |

来源：Table 4，p. 10；默认 Pythia-160M，30B tokens。完整目标对同架构 NTP-only 的增益为 +0.7 个百分点和 Avg PPL 降低 1.15。它支持联合训练的价值，也说明仅凭架构与 NTP 已有较强表现，不能把所有对原始骨干的提升都计为 NCP 的独立效果。

原文说单独加入 VQ 或 NCP 都使性能下降；这在平均 PPL 上成立，但 NTP+VQ 的平均准确率从 39.6 升至 39.8，并没有下降。应把结论限定为“完整组合在该表的两个平均指标上最好”，不把不同指标混成同一结论。表中首个语言建模列标为 OWT，而实验设置称训练在 The Pile；未获更多材料前，这一列的数据集身份存在歧义，不能直接叫作 Pile PPL。

### 4.6 长程建模：512–2048 范围内的语言建模证据

![原图 4：训练长度与语言建模损失](figures/fig-04-length.png)

来源：Fig. 4，p. 11。上面板横轴为训练长度 512、1024、2048，纵轴为 loss；灰色 PM 与橙色 ConceptLM 都随长度增加而降低。下面板为两者 loss 差，约从 0.006 增到 0.011，这些是读图近似值，不是精确表格数据。

结果支持在这三个训练长度下，ConceptLM 相对 PM 的损失优势随长度扩大。它不是长上下文外推、needle 检索、多文档问答或十万 token 测试，也没有直接追踪“注意力转向更远 token”的因果机制。因此适合称“更长训练上下文下的优势”，不宜扩写成已经解决长程推理。[Sec. 5.3，pp. 10–11]

### 4.7 深度扩展：方向可见，Table 5 汇总数值需复核

| 新增层数 | token / concept Avg Acc，原表 | token / concept Avg PPL，按四项重新计算 |
| --- | --- | --- |
| 2 | 40.1 / 40.3 | 71.3500 / 68.1325 |
| 6 | 40.1 / 40.9 | 65.2525 / 54.4550 |
| 10 | 40.2 / 40.4 | 75.1350 / 58.3550 |

来源：Table 5，p. 11。右列是**本次按原表分项计算**，不是作者报告的 Avg 列；没有重新运行任何模型。原表 `+2 token-layers` 的 Avg PPL 写成 59.80，但四项 12.77、34.02、37.94、200.67 的均值为 71.35。`+6 concept-layers` 与 `+10 concept-layers` 的原 Avg 54.34、58.21 也分别与重算 54.455、58.355 不同；部分绿色差值亦不一致。

按分项重算，concept 层相对同层数 token 层的 PPL 优势仍存在，而且差距扩大。但准确率最优的是加六层，不是十层；概念层本身的 PPL 也从六层到十层变差。实验仅在固定宽度、小规模、固定训练预算下比较深度，不是普遍的单调扩展规律。作者提出的深宽失衡解释未被独立验证。[Sec. 5.4，p. 11]

### 4.8 计算成本：相对 PM 节省，不等于全模型压缩四倍

对一个 token 层，训练复杂度约为 $O(T^2d+Td^2)$。概念层只处理 $T/k$ 个位置，因而为：

$$
O\!\left(\frac{T^2d}{k^2}+\frac{Td^2}{k}\right).
$$

只有概念层的注意力项按 $k^2$ 缩减、线性/MLP 项按 $k$ 缩减。Llama 的 32 个原始 token 层仍处理完整序列，不能推出整个模型四倍或十六倍加速。

| 配置 | 训练用时 | SQuAD 2.0 推理用时 |
| --- | --- | --- |
| PM：34 个 token 层 | 80.0 小时 | 99.0 分钟 |
| ConceptLM：32 个 token 层 + 2 个概念层 | 71.0 小时 | 86.0 分钟 |
| 用时减少，按显示值计算 | 11.25% | 13.13% |

来源：Table 6，p. 12。训练使用 8 张 H200；正文对推理只说明在 SQuAD-V2 上测时，没有充分列出 batch、生成长度及独立推理硬件细节。表中减少时间的百分比不等于吞吐提高的百分比；按同工作量换算，速度倍率分别为 $80/71\approx1.127$、$99/86\approx1.151$。

附录 C 使用简化单层公式 $12Td^2+2T^2d$，得到 PM 为 $408Td^2+68T^2d$，ConceptLM 为 $390Td^2+64.25T^2d$。代入 $T=8192,d=4096$，理论节省为 4.6875%，与原文 4.69% 一致；估算排除了 embedding 输入输出等成本。该式是论文采用的粗略模型，不是完整核级 FLOPs 计数。作者把更大的实测用时收益归因于较少 IO/KV 状态，但没有提供足够的 profiling 来单独验证这项归因。[App. C，pp. 19–20]

### 4.9 附录：插入深度、码本和块长并非无关紧要

**插入深度。** 在 Pythia-160M、30B 设置中，L9 处得到最低的原表 Avg PPL 55.04，而 L1 为 68.13；但最高 Avg Acc 是 L0 的 40.5，L9 为 40.4。原文的“三分之四处最好”应限制在这里的 PPL 及相应设置，不能泛化为所有指标、所有骨干都最优。Table 15 的 L0 四项均值为 62.5025，与报告的 63.25 不符；L9 四项均值为 55.0325，接近报告值，不改变此项排序。[App. B.2/E.2；Table 15，p. 24]

**防止码本塌缩。** 作者说没有非线性变换时，浅插入配置常塌缩；引入两层 MLP 和 ReLU 后，各配置使用率接近 100%。Fig. 5 的示例为 $S=12,N=1024$，与主实验 $N=64$ 不同。每个面板是一段码本，横轴为码索引，纵轴为使用次数：多数码被使用，但频率并不均匀。使用率高不证明码对应可解释语义，也没有证明 $N^S$ 个组合都被使用。[App. E.3，p. 21]

![原图 5：12 段码本的使用频率](figures/fig-05-codebook.png)

**每段码本大小 $N$。** 固定 $S$ 为头数：

| $N$ | 8 | 16 | 32 | 64 | 128 | 256 |
| --- | --- | --- | --- | --- | --- | --- |
| Avg Acc ↑，原表 | 40.0 | 40.3 | 40.2 | 40.3 | 40.4 | 40.3 |
| Avg PPL ↓，原表 | 66.88 | **63.03** | 69.20 | 68.13 | 68.06 | 70.38 |

来源：Table 16，p. 24。平均准确率变化较小，PPL 明显非单调。默认 $N=64$ 是统一选择，并非这个消融的 PPL 最优值。

**分段数 $S$。** 令注意力头数为 $H$，该消融隐藏维度为 768：

| $S$ | $4H$ | $2H$ | $H$ | $H/2$ | $H/3$ | $H/4$ | $H/6$ |
| --- | --- | --- | --- | --- | --- | --- | --- |
| Avg Acc ↑，原表 | 40.3 | **40.7** | 40.3 | 40.4 | 40.3 | 39.9 | 39.5 |
| Avg PPL ↓，原表 | 72.46 | **62.03** | 68.13 | 62.09 | 67.00 | 68.38 | 63.54 |

来源：Table 17，p. 25。适度增加分段在这里有利，增至 $4H$ 又退化。扩大组合空间并不自动改善预测；它还改变预测头数量及分段宽度。

**组合数量的算术核验。** App. E.4，p. 22 写 $64^{12}\approx72\times10^{22}$，实际为：

$$
64^{12}=2^{72}\approx4.7224\times10^{21},\qquad 50000^4=6.25\times10^{18}.
$$

两者比值约 755.6，仍满足前者更大，但原数量级有误。这只是组合计数，不能证明学习到无损编码、概念可识别性或语义覆盖；尤其 $c_j$ 含上下文信息，不是单纯对孤立的四 token 序列查表。

**块长 $k$。**

| $k$ | 2 | 4 | 8 | 16 |
| --- | --- | --- | --- | --- |
| Avg Acc ↑ | **40.7** | 40.3 | 40.2 | 39.8 |
| Avg PPL ↓ | **59.80** | 68.13 | 65.81 | 69.70 |

来源：Table 18，p. 25。块越长，概念分支理论计算量越低，但粗粒度表示损失更多信息；平均准确率随这里的块长增大下降，PPL 并非严格单调。$k=2$ 在这组实验质量最好，默认 $k=4$ 是成本与质量之间的配置，不能称为验证出的全局最优。论文没有给这四个设置各自的实际训练或解码用时。

## 五：结论——可靠贡献、尚未验证的解释与复现问题

### 5.1 本文真正增加了什么

贡献是把三个机制连成一个可训练系统：按块建模未来表示、用分段码本约束预测的表示形式、把预测概念以因果方式送回 token Decoder。原有 NTP 能力保留，同时引入一个与未来多 token 隐状态相关的辅助目标。多组小模型结果和固定架构损失消融使这个方向有实证支撑。

证据最强的是所测预训练设置下的质量改善与相对 PM 的局部成本优势。证据较弱的是大模型稳定提升、显式规划能力、可解释语义概念、普遍的超长上下文能力，以及“更难目标”是唯一收益来源。

### 5.2 影响理解或复现的核验记录

| 原文位置 | 问题 | 本笔记的处理 |
| --- | --- | --- |
| Sec. 2.2，p. 4 | 概念权重既写为概率又称 logits，未明确归一化 | 使用“加权组合”；补充代码观察，不虚构 softmax |
| Sec. 2.3，pp. 4–5 | 广播 $k$ 次与公式分母 $k-1$ 不一致；Decoder 条件索引不统一 | 显式给出 $k=4$ 时间线及标明来源的索引整理 |
| Sec. 3，p. 5 | VQ 损失公式与“不更新 Encoder”文字表面冲突；NCP 目标截断未写 | 区分论文公式与公开 Pythia 中的 `detach()` 路径 |
| Table 1，p. 7 | Pythia-160M 平均 PPL 及改进标记不完全自洽 | 保留原表 34.23，同时提供 34.3175 的重算结果 |
| Tables 2/14，pp. 8/23 | GPT 小模型有重复 ConceptLM 行名，部分 L1 标签不一致 | 不静默重命名身份有歧义的行 |
| Table 4，p. 10 | “单独增加都下降”与准确率列不完全一致；首列 OWT 身份不明 | 分别讨论准确率、PPL 和实验数据口径 |
| Table 5，p. 11 | 多项 Avg PPL 及差值与分项不一致 | 使用四项重算并明确不是重新评估 |
| App. E.4，p. 22 | $64^{12}$ 的数量级算错 | 给出正确值，并保留不等式仍成立的事实 |
| Table 15，p. 24 | L0 Avg PPL 不等于分项均值；不同指标最优插入点不同 | 不把 L9 推广成全部指标最优 |

这些问题不自动否定方法或全部实验，但会影响对收益幅度、梯度实现及 scaling 结论的精确表述。评测的逐任务配置、重复种子与误差范围仍是解释小差距的关键缺口。

### 5.3 补充代码核对的范围

[Pythia 实现固定提交链接](https://github.com/LUMIA-Group/ConceptLM/blob/a0ab281286f5c0337c35de3181cc992c562eacaa/lm_eval/lm_eval/model_arc/ConceptLM_Pythiamodel.py)：池化表征先截断后用于 VQ；NCP 的目标侧也截断；预测分支仍用未截断输入；添加首块零向量、按 $k$ 重复并在启用 `shift_feature` 时去掉首位置，实现 $k-1$ 对齐。该路径的码本组合使用未归一化的线性头输出。

同提交 README 标记模型与测试代码已发布，训练代码及完整消融模型尚未全部发布，并说明 Llama 的生成实现与 Pythia/GPT-2 细节不同。本次没有运行这些实现、没有核验 checkpoint 配置与训练循环，也没有把 Pythia 的静态观察外推为所有骨干的训练事实。论文原始材料仍是主证据。

### 5.4 值得继续验证的问题

1. 在等参数、等训练 FLOPs、等 tokens 的不同约束下，NCP 相对 NTP-only 同架构与 ContextLM 的独立增益各有多少？
2. 大模型重复多随机种子后，+0.1 或 +0.4 的平均分差是否稳定？更长持续预训练能否扩大增益？
3. 码本表达的是语义、词法分布还是隐藏状态的低阶统计？需要可解释性与干预实验，而不只是利用率图。
4. 对较长输入的收益是否延续到检索、跨文档依赖及训练长度之外？
5. 若把块边界改成自适应分段，并控制新增计算与参数，能否改善当前固定池化的质量—成本取舍？

上述问题是本次分析提出的后续方向，不是论文已完成的结果。

## 资料与使用说明

- [论文 v1](https://arxiv.org/abs/2602.08984v1) 与 [本地 PDF](../source/paper.pdf) 是结果与图表的主来源；[源码清单](../source/tex/manifest.json)保存版本、哈希与文件列表。
- [作者公开仓库](https://github.com/LUMIA-Group/ConceptLM)只用于限定范围内的实现补充核对，读取日期为 2026-09-28。
- 原图全部在 `figures/`，来源对应关系见 [图件记录](figures/provenance.json)。分享 Markdown 时请一并带上该目录。
- 英文 [Beamer PDF](slides.en.pdf) 和 [可编辑 TeX](slides.en.tex)按约 25 分钟主讲与备用页组织；本次交付不含 PowerPoint `.pptx`。