ConceptLM：在离散潜在空间预测下一个概念
原题名： Next Concept Prediction in Discrete Latent Space Leads to Stronger Language Models
作者： Yuliang Liu、Yunchong Song、Yixuan Wang、Kewen Ge、Alex Lamb、Qipeng Guo、Kai Chen、Bowen Zhou、Zhouhan Lin
版本： arXiv:2602.08984v1，提交于 2026-02-09；PDF 首页标注 2026-02-10。
获取及研读日期： 2026-09-28。
材料： arXiv 页面 · 原文 PDF · 作者 TeX 主文件 · 英文幻灯片。
本次以同版本作者 TeX 为主要阅读材料，并对照 25 页 PDF，覆盖正文全部章节、附录 A–E、全部五幅图及与结论有关的实验表格。实际阅读了 main.tex 引用的 files/1-intro.tex 至 files/7-appendix.tex 及相应表格文件；源码目录中未被主文件引用的遗留内容不作为证据。以下页码均为从 1 开始的 PDF 页码，与本版印刷页码一致。论文的关键公式没有编号，因此用章节与页码定位。
补充静态查看了作者公开仓库的 Pythia 实现，以核对移位和梯度截断；固定提交为 a0ab281286f5c0337c35de3181cc992c562eacaa。这项代码核对不等于复现实验，也不能保证当前代码就是所有论文实验使用的训练版本。
论文总览
论文的问题是：如果语言模型只学习预测下一个 token，能否充分学到跨多个 token 的结构？作者在标准自回归语言模型中加入一个较慢的“概念”分支：把连续若干个 token 的隐藏状态平均成一个向量，用分段向量量化构造概念词表，再预测下一块的概念表示，并把预测结果加回 token 隐藏状态。训练同时使用下一个 token 预测（NTP）、下一个概念预测（NCP）和码本拟合目标。
最值得保留的结论是：在文中所测的小模型预训练设置下，分块概念建模与显式概念监督通常改善语言建模和平均下游表现；8B 持续预训练只提供较小的增益证据。 Pythia-160M 骨干、300B tokens 下，九项任务平均准确率从基线的 40.3% 提升到 42.9%，强对照 ContextLM 为 42.0%。但 8B 实验中，ConceptLM 平均分 47.6，对参数匹配模型为 +0.4 分，对普通持续预训练模型仅为 +0.1 分。[Table 2，p. 8；Table 3，p. 9]
理解标题时要保留三个限定：
- “概念”是固定长度 token 块的潜在表示，不是人工标注的语义概念，也不保证对应完整词、短语或句子。
- 离散的是码本及量化表示；实际送入解码器的预测概念是码本向量的加权组合，并非每次硬采样一个概念 ID。
- NCP 在本论文中使用连续表示的均方误差（MSE），不是对离散概念 ID 直接做交叉熵分类。最终文本依然逐 token 自回归生成。
结构地图
| 原文章节 | 主要作用 | PDF 页码与证据 |
|---|---|---|
| 1. Introduction | 提出更高层次预测的动机与贡献 | pp. 1–2；Fig. 1 |
| 2. ConceptLM Architecture | Encoder、概念词表、概念预测、Decoder 对齐 | pp. 3–5；Figs. 2–3 |
| 3. ConceptLM Training | 三个损失及其梯度职责 | pp. 5–6；无编号公式 |
| 4.1. Experimental Setup | 骨干、数据与默认结构 | p. 6 |
| 4.2. Pre-train ConceptLM from Scratch | GPT-2 与 Pythia 预训练结果 | pp. 6–8；Tables 1–2 |
| 4.3. Continual Pre-train ConceptLM on 8B models | Llama-3.1-8B 扩展 | p. 9；Table 3 |
| 5.1–5.2. Components / Training Objectives | 结构比较与损失消融 | pp. 9–10；Table 4 |
| 5.3–5.5. Long-range / Scaling / Complexity | 序列长度、加深与成本 | pp. 10–12；Fig. 4；Tables 5–6 |
| 6. Related Work；7. Conclusion | 方法定位与作者总结 | pp. 12–13 |
| References | 文献目录 | pp. 14–17 |
| A. NCP versus NTP | 输入、词表、生成与损失对照 | p. 18；Table 7 |
| B. Experiments Setting | 插入位置、训练超参数 | pp. 18–20；Tables 8–12 |
| C. 8B Models Computation Cost；D. Downstream Tasks | FLOPs 估算与任务类别 | pp. 19–20；Table 13 |
| E. Experimental Results | GPT L1、插入深度、VQ、分块大小 | pp. 20–25；Fig. 5；Tables 14–18 |
一：动机——把预测对象从单个 token 提升到一块表示
标准 NTP 优化 $p(x_{t+1}\mid x_{\leq t})$。它当然可以学习长程依赖，但损失直接考察的单位仍是一个 token。作者认为，当模型越来越大时，仅靠这一目标可能不能充分利用容量，希望增加一个跨多个 token 的预测任务。
现有分层或压缩架构已经会把相邻 token/byte 合并后处理，但分层结构本身不等于在高层空间加入独立预测监督。多 token 预测（MTP）则直接预测未来多个 token，仍处于原词表空间。ConceptLM 的区别是：共同学习一个概念词表，并对下一块的潜在表示提供显式训练信号。 [Sec. 1，pp. 1–2；Sec. 6，pp. 12–13]
这里的“预测任务更难，因此模型更强”是作者的机制解释。本文没有证明 NCP 的信息论难度更高，也没有用受控实验把任务难度、额外架构、正则化效应和优化变化完全分开。更稳妥的解读是：论文提出并验证了一种额外预测对象与训练结构，其收益与“更高层监督有帮助”的解释相容。
二：方法——概念的生成、监督与因果使用
2.1 整体数据流与符号
来源：Fig. 2，PDF p. 3，使用作者原始矢量图转 PNG。先看左边的 Encoder→概念模块→Decoder，再看中间的预测路径，最后看右边的训练期量化路径。图示使用三个 token 一组来说明结构；主实验的块长为四。
| 符号 | 含义与维度 |
|---|---|
| $T$、$d$ | token 序列长度、token/概念隐藏维度 |
| $k$、$M=T/k$ | 每块 token 数、概念序列长度；论文公式默认整除 |
| $h_t\in\mathbb R^d$ | 因果 Encoder 在 token 位置 $t$ 的输出 |
| $c_j\in\mathbb R^d$ | 第 $j$ 块的平均隐藏状态 |
| $S$、$N$ | 特征分段数、每段码本的向量数 |
| $e_n^s\in\mathbb R^{d/S}$ | 第 $s$ 段、第 $n$ 个码本向量；假设 $S$ 整除 $d$ |
| $\hat c_j\in\mathbb R^d$ | 根据历史块预测的第 $j$ 块概念 |
| $\tilde h_t\in\mathbb R^d$ | 添加可用预测概念后的 token 隐藏状态 |
Encoder 并不是额外的双向文本编码器。它由骨干前面的因果层构成；默认 Pythia/Llama 使用第一层作 Encoder，其余原有层作 Decoder；GPT-2 主实验在第一层之前插入概念模块，所以此时可理解为从 token 嵌入开始合并。全模型仍然有 token 层，只有新增的概念层处理压缩序列。[Sec. 2，pp. 3–5；Sec. 4.1，p. 6；App. B.2，pp. 18–19]
2.2 从 token 隐藏状态构造概念词表
下面用从 0 开始的块编号展开原文的 mean pooling：
这一定义是对 Sec. 2.2 文字描述的数学展开。由于 $h_t$ 已经编码历史，$c_j$ 不只是当前块 token 嵌入的平均，它也可能携带此前上下文。
把 $c_j$ 沿特征维度切成 $S$ 段，每段用自己的码本做最近邻向量量化（VQ）。各段索引组合在一起，理论上有 $N^S$ 种离散组合。实际并不建立一个含 $N^S$ 行的大表：每段只有 $N$ 个长度为 $d/S$ 的向量，基础码向量总量为 $Nd$ 个标量，另有变换网络和预测头参数。[Sec. 2.2，p. 4]
主实验 $N=64$，$S$ 等于骨干注意力头数；概念层为两层 Transformer，$k=4$。码本向量经过两层 MLP 和 ReLU 变换，作者借鉴 SimVQ 来缓解码本塌缩。这里的“词表”随着训练共同更新，既不是 BPE 词表，也没有外部语义标签。[Sec. 4.1，p. 6；App. E.3，p. 21]
2.3 概念预测的输出仍是连续向量
概念 Transformer 处理历史的连续块表示。每个分段有一个预测头，输出 $N$ 个系数，随后计算：
预测 $\hat c_j$ 只使用 $c_{ 系数归一化不能擅自补成 softmax。 论文一方面把 $w$ 写作概率符号，另一方面反复称它为 logits，未给出明确归一化公式。补充查看的公开 Pythia 路径直接把线性头输出与码本相乘，没有在该乘法前做 softmax。因此本笔记称其为“加权组合”，不把输出严格解释为离散采样或码本凸包中的概率期望。[公开实现： 假设 $k=4$。只有读完 $x_0,x_1,x_2,x_3$，才能得到完整的 $c_0$ 并预测 $\hat c_1$。此时 $h_3$ 用于预测 $x_4$，恰好可以使用 $\hat c_1$。随后 $h_4,h_5,h_6$ 继续使用它，分别预测 $x_5,x_6,x_7$。读到 $x_7$ 后，才可形成 $c_1$ 并预测 $\hat c_2$。 这是本次教学展开，不是论文新实验。对应“重复每个预测概念 $k$ 次，再右移 $k-1$ 个位置”的一致写法为： 上式是本笔记依据文字描述和公开 Pythia 移位路径整理的索引，不是原式的逐字抄录。 原文 p. 5 使用 $\lfloor t/(k-1)\rfloor$，会令概念每 $k-1$ 步切换，与“广播 $k$ 次”不一致；不能直接拿该式实现。原文 Decoder 条件式另写为 $\tilde h_{ 训练中可以计算未来块 $c_j$ 来作损失目标，但 Decoder 接收的是预测值 $\hat c_j$，而非真实未来值或其量化结果。这是因果性成立的核心。推理时按已完成的块更新概念预测，token 仍逐个生成；训练期用于拟合码本的最近邻量化不必成为每步生成操作。 来源：Fig. 3，PDF p. 3。灰色箭头表示前向路径，蓝色对应 NTP，橙色对应 NCP，绿色对应 VQ。读图时应关注损失影响哪些模块，不能只看总损失的加号。 NTP：保留语言建模目标。 对真实下一 token 做交叉熵，通过 Decoder、融合路径及上游模块提供文本生成监督。用统一的本笔记索引，可写为 $-\sum_t\log p(x_{t+1}\mid\tilde h_{\leq t})$。 NCP：让预测概念接近下一块连续表示。 原文写为： 监督目标是连续 $c_j$，不是量化索引。原文强调该损失通过概念预测分支更新 Encoder，使它形成适合预测下一块的表示。公开 Pythia 实现对目标侧使用 VQ：让码本跟随连续潜在表示。 原文公式为： 这里用 $d_q$ 表示原文的量化向量 $d\in\mathcal D_c$，避免与隐藏维度 $d$ 混淆；$\operatorname{sg}$ 是停止梯度。第一项拟合码本，第二项按通常数学含义会对 $c$ 产生梯度。因此，若直接照抄公式而不在 VQ 入口截断 $c$，就与作者“VQ loss 不影响表示学习”的文字和 Fig. 3 冲突。公开 Pythia 路径把池化表示先 总目标写作： 不能由三个系数都写作 1 推出三种监督的数值影响相同：token 数、维度以及 概念层在长度 $T/k$ 的序列上做全局交互，有较低的序列处理成本；Decoder 同时保留 token 级细节和下一块的粗粒度预测。但固定平均池化会丢失块内区分信息，块长与语义边界不对齐，错误的概念预测也可能干扰后续 token。残差 token 路径有助于保留原信息，但论文没有证明这些影响完全消失。 所谓“先规划再生成”可以理解为对未来块的一个内部摘要预测。论文未提供可解释计划、概念语义标注或可控规划任务的直接验证，因此不应把它等同于明确的多步推理规划器。 来源：Sec. 4.1，p. 6；Sec. 5，p. 9；App. B，Tables 8–12，pp. 18–20。表中规模主要指基础骨干，ConceptLM 和 PM 加层后的实际总参数不等于该标签。原文实验概述把 GPT-2 起点写作 160M，而主结果 Table 1/2 和超参数 Table 10 标为 124M；此处依照详细表标记，保留这一口径差异。 GPT-2 四个规模的学习率依次为 $10^{-3},8\times10^{-4},6\times10^{-4},4\times10^{-4}$；Pythia 三个规模为 $10^{-3},6\times10^{-4},4\times10^{-4}$；Llama 为 $10^{-5}$。文中说遵循官方超参数，但没有在该文完整列出所有优化器、学习率日程、训练随机种子、数据切分与评估提示设置，不能用惯例补成“已报告”。 来源：Sec. 4.2，pp. 6–8；Sec. 5.2，p. 10。 主实验有九项下游准确率：Lambada OpenAI/Standard、ARC-Easy/Challenge、WinoGrande、PIQA、HellaSwag、SciQ、RACE，越高越好；以及四项语言建模 PPL：训练分布、WikiText、两个 Lambada 版本，越低越好。“13 benchmarks”在这里更准确地说是 9 项下游评测加 4 项语言建模评测，并非 13 个互不重复的数据集。 论文的 Avg PPL 是不同数据集 PPL 的算术平均。它不是把所有测试 token 合起来计算的整体困惑度，尤其容易受 Lambada Standard 的大数值主导。下文优先同时列出分项或注明平均口径。准确率从 40.3% 到 42.9% 是 2.6 个百分点，不是相对增长 2.6%；按显示值计算相对增长约 6.45%。 除 The Pile、OpenWebText 外，论文使用 lm-evaluation-harness v0.4.4。消融表明确标注 zero-shot；主表和 8B 表没有完整列出逐任务 few-shot、归一化及生成评分配置。尤其 SQuAD 2.0 只给出分数，未明确标注这里选用 EM 还是 F1，因此下文称其为“表中分数”，不自行改称准确率或 F1。[Sec. 4.2 脚注，p. 6；Tables 3–4，pp. 9–10] 以下数值为原表报告值，规模均是基础骨干标签。ConceptLM 为主实验 L0 插入设置。 来源：Table 1，PDF p. 7。例如 355M 组中，ConceptLM 的 OpenWebText PPL 为 16.81，低于 Base 的 17.97 和 PM 的 17.67；说明平均 PPL 的改善不只来自一项 Lambada。1.5B 组 ContextLM 的 Lambada Standard PPL 为 44.62，优于 ConceptLM 的 47.06，并带来更低的 Avg PPL；所以不能说 ConceptLM 在所有语言建模项目和所有规模都最好。 来源：Table 2，PDF p. 8。单位为百分数。*124M 组第三行在原表中也写成 附录 E.1 比较 GPT-2 模块放在首层前 L0、首层后 L1。L1 的平均准确率依次为 38.7、41.5、43.5、44.7，均低于主实验 L0 的 38.9、42.3、44.0、45.1。插入位置是实质性超参数，不能把两种设置的结果混为一组。[Table 14，p. 23] 来源：Tables 1–2，pp. 7–8；The Pile 300B tokens。平均值按原表保留。160M 的 ConceptLM 四项 PPL 为 10.93、27.01、20.01、79.32，其显示值均值为 34.3175，约 34.32，与原表 34.23 不一致；这一差异不改变相对排序。基线 67.87 到原表 34.23 的差为 33.64，原表绿色标注的 33.54 也与显示值不符。 分项上，160M 的 Lambada OpenAI 准确率从 ContextLM 的 37.2 提高到 41.8，但 ARC-Challenge 从 19.5 降到 18.3，PIQA 从 62.9 降到 62.1。70M 与 ContextLM 的平均准确率按一位小数持平；410M 只高 0.1 个百分点。语言建模方面，70M 和 410M 的训练分布 PPL 略逊于 ContextLM，分别为 15.00 对 14.96、8.70 对 8.67，但其他所列语料更好。 这些结果支持“收益与规模、任务有关”。作者把跨数据集表现改善归因于离散概念词表储存稳定的概念表示，这是解释，尚不是通过单一因素干预证明的机制。[Sec. 4.2，pp. 7–8] 来源：Fig. 1，PDF p. 1；三个作者原图按原顺序并排，未改变坐标和数据。纵轴都是 PPL，越低越好；横轴依次为模型参数、训练 token 数和训练 FLOPs。黑线为 GPT-2，红线为 ConceptLM。 作者在接近最大基线性能处报告：达到相近效果需要约 63% 参数、76% tokens 或 81% FLOPs，即分别减少约 37%、24%、19%。这是三个图上分别读取的等性能比较，不能解释为同一个模型同时将三项资源都降低这些比例，也不是对所有目标 PPL 成立的普遍 scaling law。图中没有给出拟合参数、置信区间或多随机种子误差。[Sec. 4.2，p. 7] 来源：Table 3，p. 9；同为 LongCtxEng 上 9.6B tokens 持续预训练。Trained 保留原 32 层 token 模型；PM 加两层 token 层；ConceptLM 加两层概念层。新层以基座的前两层权重初始化。[Sec. 4.3] 对 PM 为 +0.4 平均分，对 Trained 为 +0.1，且 SQuAD 分数比 Trained 低 0.2。没有重复运行方差或显著性检验，故不能把 +0.1 解读为稳定的大模型能力突破。VQ loss 仍在下降，只说明码本仍在拟合；“继续扩大数据可能带来更大收益”是作者展望，不是本实验已经验证的结果。 Sec. 5.1 的结构证据主要来自 PM、ContextLM 和完整模型之间的比较，而非对每个因素完全正交的消融。更直接的损失对照是固定 ConceptLM 架构的 Table 4。 来源：Table 4，p. 10；默认 Pythia-160M，30B tokens。完整目标对同架构 NTP-only 的增益为 +0.7 个百分点和 Avg PPL 降低 1.15。它支持联合训练的价值，也说明仅凭架构与 NTP 已有较强表现，不能把所有对原始骨干的提升都计为 NCP 的独立效果。 原文说单独加入 VQ 或 NCP 都使性能下降；这在平均 PPL 上成立，但 NTP+VQ 的平均准确率从 39.6 升至 39.8，并没有下降。应把结论限定为“完整组合在该表的两个平均指标上最好”，不把不同指标混成同一结论。表中首个语言建模列标为 OWT，而实验设置称训练在 The Pile；未获更多材料前，这一列的数据集身份存在歧义，不能直接叫作 Pile PPL。 来源：Fig. 4，p. 11。上面板横轴为训练长度 512、1024、2048，纵轴为 loss；灰色 PM 与橙色 ConceptLM 都随长度增加而降低。下面板为两者 loss 差，约从 0.006 增到 0.011，这些是读图近似值，不是精确表格数据。 结果支持在这三个训练长度下，ConceptLM 相对 PM 的损失优势随长度扩大。它不是长上下文外推、needle 检索、多文档问答或十万 token 测试，也没有直接追踪“注意力转向更远 token”的因果机制。因此适合称“更长训练上下文下的优势”，不宜扩写成已经解决长程推理。[Sec. 5.3，pp. 10–11] 来源：Table 5，p. 11。右列是本次按原表分项计算，不是作者报告的 Avg 列；没有重新运行任何模型。原表 按分项重算，concept 层相对同层数 token 层的 PPL 优势仍存在，而且差距扩大。但准确率最优的是加六层，不是十层；概念层本身的 PPL 也从六层到十层变差。实验仅在固定宽度、小规模、固定训练预算下比较深度，不是普遍的单调扩展规律。作者提出的深宽失衡解释未被独立验证。[Sec. 5.4，p. 11] 对一个 token 层，训练复杂度约为 $O(T^2d+Td^2)$。概念层只处理 $T/k$ 个位置，因而为： 只有概念层的注意力项按 $k^2$ 缩减、线性/MLP 项按 $k$ 缩减。Llama 的 32 个原始 token 层仍处理完整序列，不能推出整个模型四倍或十六倍加速。 来源：Table 6，p. 12。训练使用 8 张 H200；正文对推理只说明在 SQuAD-V2 上测时，没有充分列出 batch、生成长度及独立推理硬件细节。表中减少时间的百分比不等于吞吐提高的百分比；按同工作量换算，速度倍率分别为 $80/71\approx1.127$、$99/86\approx1.151$。 附录 C 使用简化单层公式 $12Td^2+2T^2d$，得到 PM 为 $408Td^2+68T^2d$，ConceptLM 为 $390Td^2+64.25T^2d$。代入 $T=8192,d=4096$，理论节省为 4.6875%，与原文 4.69% 一致；估算排除了 embedding 输入输出等成本。该式是论文采用的粗略模型，不是完整核级 FLOPs 计数。作者把更大的实测用时收益归因于较少 IO/KV 状态，但没有提供足够的 profiling 来单独验证这项归因。[App. C，pp. 19–20] 插入深度。 在 Pythia-160M、30B 设置中，L9 处得到最低的原表 Avg PPL 55.04，而 L1 为 68.13；但最高 Avg Acc 是 L0 的 40.5，L9 为 40.4。原文的“三分之四处最好”应限制在这里的 PPL 及相应设置，不能泛化为所有指标、所有骨干都最优。Table 15 的 L0 四项均值为 62.5025，与报告的 63.25 不符；L9 四项均值为 55.0325，接近报告值，不改变此项排序。[App. B.2/E.2；Table 15，p. 24] 防止码本塌缩。 作者说没有非线性变换时，浅插入配置常塌缩；引入两层 MLP 和 ReLU 后，各配置使用率接近 100%。Fig. 5 的示例为 $S=12,N=1024$，与主实验 $N=64$ 不同。每个面板是一段码本，横轴为码索引，纵轴为使用次数：多数码被使用，但频率并不均匀。使用率高不证明码对应可解释语义，也没有证明 $N^S$ 个组合都被使用。[App. E.3，p. 21] 每段码本大小 $N$。 固定 $S$ 为头数： 来源：Table 16，p. 24。平均准确率变化较小，PPL 明显非单调。默认 $N=64$ 是统一选择，并非这个消融的 PPL 最优值。 分段数 $S$。 令注意力头数为 $H$，该消融隐藏维度为 768： 来源：Table 17，p. 25。适度增加分段在这里有利，增至 $4H$ 又退化。扩大组合空间并不自动改善预测；它还改变预测头数量及分段宽度。 组合数量的算术核验。 App. E.4，p. 22 写 $64^{12}\approx72\times10^{22}$，实际为： 两者比值约 755.6，仍满足前者更大，但原数量级有误。这只是组合计数，不能证明学习到无损编码、概念可识别性或语义覆盖；尤其 $c_j$ 含上下文信息，不是单纯对孤立的四 token 序列查表。 块长 $k$。 来源：Table 18，p. 25。块越长，概念分支理论计算量越低，但粗粒度表示损失更多信息；平均准确率随这里的块长增大下降，PPL 并非严格单调。$k=2$ 在这组实验质量最好，默认 $k=4$ 是成本与质量之间的配置，不能称为验证出的全局最优。论文没有给这四个设置各自的实际训练或解码用时。 贡献是把三个机制连成一个可训练系统：按块建模未来表示、用分段码本约束预测的表示形式、把预测概念以因果方式送回 token Decoder。原有 NTP 能力保留，同时引入一个与未来多 token 隐状态相关的辅助目标。多组小模型结果和固定架构损失消融使这个方向有实证支撑。 证据最强的是所测预训练设置下的质量改善与相对 PM 的局部成本优势。证据较弱的是大模型稳定提升、显式规划能力、可解释语义概念、普遍的超长上下文能力，以及“更难目标”是唯一收益来源。 这些问题不自动否定方法或全部实验，但会影响对收益幅度、梯度实现及 scaling 结论的精确表述。评测的逐任务配置、重复种子与误差范围仍是解释小差距的关键缺口。 Pythia 实现固定提交链接：池化表征先截断后用于 VQ；NCP 的目标侧也截断；预测分支仍用未截断输入；添加首块零向量、按 $k$ 重复并在启用 同提交 README 标记模型与测试代码已发布，训练代码及完整消融模型尚未全部发布，并说明 Llama 的生成实现与 Pythia/GPT-2 细节不同。本次没有运行这些实现、没有核验 checkpoint 配置与训练循环，也没有把 Pythia 的静态观察外推为所有骨干的训练事实。论文原始材料仍是主证据。 上述问题是本次分析提出的后续方向，不是论文已完成的结果。ConceptLM_Pythiamodel.py，概念头约 L146–L161、组合约 L513–L519；固定提交见文末]2.4 关键的因果移位：未来块只作监督目标
Decoder 输入位置 $t$ 预测 token 可添加的概念 0、1、2 $x_1,x_2,x_3$ 零向量 3、4、5、6 $x_4,x_5,x_6,x_7$ $\hat c_1$，来自 $c_0$ 7、8、9、10 $x_8,x_9,x_{10},x_{11}$ $\hat c_2$，来自 $c_0,c_1$ 2.5 三个损失分别做什么
detach()，但概念 Transformer 的输入仍保留梯度；因此目标停止梯度与 Encoder 从预测分支学习并不矛盾。论文公式本身未显示这个目标侧截断。[Sec. 3，p. 5；公开实现约 L480、L498–L505、L529]detach() 再送入 VQ，支持作者意图，但量化器内部行为、训练版本与损失系数仍需单独确认。论文没有完整给出 $\beta$ 的数值与所有损失的 reduction 口径。[Sec. 3，p. 5]sum/mean 口径都会改变相对梯度尺度。作者称训练端到端，并不意味着每个损失都必须更新每一个模块。[Sec. 3，pp. 5–6]2.6 这套设计带来的能力与限制
三：实验——先把预算和对照分清
3.1 训练设置
实验 骨干规模标签 数据及 token 数 序列长度 / batch size GPT-2 从头预训练 124M、355M、774M、1.5B OpenWebText，8B 1024 / 512 Pythia 从头预训练 70M、160M、410M The Pile，300B 2048 / 1024 Llama 持续预训练 Llama-3.1-8B LongCtxEng，9.6B 8192 / 96 默认消融 Pythia-160M The Pile，30B 沿用该系列设置，除非小节改变变量 3.2 对照模型的角色
3.3 指标的含义
四：结果——收益出现在哪里，证据边界在哪里
4.1 GPT-2：优于 token 基线，但并非所有强对照都落后
GPT-2 骨干 Base Avg PPL ↓ PM ↓ ContextLM ↓ ConceptLM ↓ 124M 101.94 99.14 87.19 84.75 355M 52.57 52.55 43.06 40.51 774M 36.35 32.89 31.80 29.61 1.5B 29.68 30.01 25.93 26.38 GPT-2 骨干 Base Avg Acc ↑ PM ↑ ContextLM / 原表第三行 ↑ ConceptLM ↑ 124M 38.0 38.4 39.1* 38.9 355M 40.6 41.4 41.9 42.3 774M 42.8 42.8 43.9 44.0 1.5B 43.9 43.5 45.0 45.1 ConceptLM，而其他规模对应行写 ContextLM；Table 14 也存在相似标签问题。不能在未获作者确认时擅自改名。因此该行保留为身份有歧义的第三行，只能确定最后的灰底 ConceptLM 行为 38.9。原文“所有规模均取得最佳平均表现”的概括强于表格本身。4.2 Pythia：160M 最突出，410M 对强基线增益较小
骨干 Base / ContextLM / ConceptLM Avg Acc ↑ Base / ContextLM / ConceptLM Avg PPL ↓ 70M 34.6 / 38.2 / 38.2 297.72 / 142.71 / 137.70 160M 40.3 / 42.0 / 42.9 67.87 / 43.09 / 34.23 410M 47.5 / 48.2 / 48.3 17.84 / 15.82 / 15.31 4.3 Figure 1：三种资源轴上的经验优势
4.4 8B 持续预训练：可迁移，但提升幅度小
模型 MMLU ARC-C AGIEval SQuAD 2.0 Avg Trained-8B 64.3 34.8 54.2 36.7 47.5 PM-8B 64.5 35.0 53.3 36.1 47.2 ConceptLM-8B 64.6 35.1 54.2 36.5 47.6 4.5 结构与损失消融：联合监督有帮助，但收益不能全归给 NCP
目标组合 Avg Acc ↑ Avg PPL ↓ token 模型 MTP，对照 38.4 81.16 ConceptLM，仅 NTP 39.6 69.28 NTP + VQ 39.8 75.64 NTP + NCP 39.5 76.30 NTP + NCP + VQ 40.3 68.13 4.6 长程建模：512–2048 范围内的语言建模证据
4.7 深度扩展：方向可见，Table 5 汇总数值需复核
新增层数 token / concept Avg Acc，原表 token / concept Avg PPL，按四项重新计算 2 40.1 / 40.3 71.3500 / 68.1325 6 40.1 / 40.9 65.2525 / 54.4550 10 40.2 / 40.4 75.1350 / 58.3550 +2 token-layers 的 Avg PPL 写成 59.80，但四项 12.77、34.02、37.94、200.67 的均值为 71.35。+6 concept-layers 与 +10 concept-layers 的原 Avg 54.34、58.21 也分别与重算 54.455、58.355 不同；部分绿色差值亦不一致。4.8 计算成本：相对 PM 节省，不等于全模型压缩四倍
配置 训练用时 SQuAD 2.0 推理用时 PM：34 个 token 层 80.0 小时 99.0 分钟 ConceptLM：32 个 token 层 + 2 个概念层 71.0 小时 86.0 分钟 用时减少，按显示值计算 11.25% 13.13% 4.9 附录：插入深度、码本和块长并非无关紧要
$N$ 8 16 32 64 128 256 Avg Acc ↑，原表 40.0 40.3 40.2 40.3 40.4 40.3 Avg PPL ↓，原表 66.88 63.03 69.20 68.13 68.06 70.38 $S$ $4H$ $2H$ $H$ $H/2$ $H/3$ $H/4$ $H/6$ Avg Acc ↑，原表 40.3 40.7 40.3 40.4 40.3 39.9 39.5 Avg PPL ↓，原表 72.46 62.03 68.13 62.09 67.00 68.38 63.54 $k$ 2 4 8 16 Avg Acc ↑ 40.7 40.3 40.2 39.8 Avg PPL ↓ 59.80 68.13 65.81 69.70 五：结论——可靠贡献、尚未验证的解释与复现问题
5.1 本文真正增加了什么
5.2 影响理解或复现的核验记录
原文位置 问题 本笔记的处理 Sec. 2.2，p. 4 概念权重既写为概率又称 logits，未明确归一化 使用“加权组合”；补充代码观察，不虚构 softmax Sec. 2.3，pp. 4–5 广播 $k$ 次与公式分母 $k-1$ 不一致；Decoder 条件索引不统一 显式给出 $k=4$ 时间线及标明来源的索引整理 Sec. 3，p. 5 VQ 损失公式与“不更新 Encoder”文字表面冲突；NCP 目标截断未写 区分论文公式与公开 Pythia 中的 detach() 路径Table 1，p. 7 Pythia-160M 平均 PPL 及改进标记不完全自洽 保留原表 34.23，同时提供 34.3175 的重算结果 Tables 2/14，pp. 8/23 GPT 小模型有重复 ConceptLM 行名，部分 L1 标签不一致 不静默重命名身份有歧义的行 Table 4，p. 10 “单独增加都下降”与准确率列不完全一致；首列 OWT 身份不明 分别讨论准确率、PPL 和实验数据口径 Table 5，p. 11 多项 Avg PPL 及差值与分项不一致 使用四项重算并明确不是重新评估 App. E.4，p. 22 $64^{12}$ 的数量级算错 给出正确值，并保留不等式仍成立的事实 Table 15，p. 24 L0 Avg PPL 不等于分项均值；不同指标最优插入点不同 不把 L9 推广成全部指标最优 5.3 补充代码核对的范围
shift_feature 时去掉首位置，实现 $k-1$ 对齐。该路径的码本组合使用未归一化的线性头输出。5.4 值得继续验证的问题
资料与使用说明