# PartRep：学习哪些 token 值得重复

原题：**PARTREP: Learning What to Repeat for Decoder-only LLMs**

- 作者：Andikawati P Widjaja、Yongjun Kim、Hyounghun Kim、Jaeho Lee。
- 机构：Bandung Institute of Technology；Pohang University of Science and Technology。
- 原文版本：**arXiv:2607.01792v1**，2026-07-02 提交；获取与研读日期：2026-09-29。
- 来源：[arXiv 版本页](https://arxiv.org/abs/2607.01792v1) · [原文 PDF](../source/paper.pdf) · [作者 TeX](../source/tex/files/main.tex) · [源码清单](../source/tex/manifest.json)。
- 配套：[英文幻灯片 PDF](slides.en.pdf) · [可编辑 TeX](slides.en.tex)。

**阅读范围。** 已阅读 main.tex 中实际生效的正文、附录 A–E，以及相关 main.bib 条目，并以同版本 15 页 PDF 核对公式、7 幅图与 7 张表。图件取自作者源码；没有执行作者源码或复现实验。以下页码均为 PDF 从 1 开始的页码，与论文印刷页码一致。“原文结果”“作者解释”“本次分析”分开表述。

## 论文总览

PartRep 研究的是：**保留完整原始输入后，追加哪些少量 token，能以较小的增量成本获得接近“再读一遍”的收益？** 这与压缩原始输入或删除已有 KV 缓存不同。

方法分两步。离线用目标语言模型计算每个 token 的负对数似然（negative log-likelihood，NLL），以每个样本中 NLL 最高的一部分 token 作为标签，训练一个很小的门控网络。推理时，门控读取原始输入的中间层隐藏状态，选出少量 token，按原顺序接到输入末尾，再完成预填充与生成。原始模型参数保持冻结。

最有直接证据支持的结论来自 Qwen2.5-3B 的七项任务：不重复、完整重复、PartRep 的报告平均准确率依次为 **66.9%、68.5%、68.3%**；PartRep 的平均缓存 token 数为 **280.4**，完整重复为 **471.1**，对应预填充开销为 **2.481 T** 与 **3.140 T FLOPs**。这支持“用较低成本接近完整重复的平均效果”，不能解读为每个任务都胜过完整重复。（表 1，p.6）

两个重要限定：

1. **节省以完整重复为参照。** PartRep 相对不重复仍增加约 19.1% 的缓存 token 数和 60.2% 的报告预填充 FLOPs；它不是把原始输入的缓存压到更小。
2. **长上下文采用另一组设置。** RULER 使用 $\tau=0.3$ 加局部窗口扩展，主表使用 $\tau=0.15$。不能把主表的成本比直接搬到 RULER 上。（表 1、3，pp.6–7）

## 结构地图

| 原文章节 | 作用 | PDF 定位 |
| --- | --- | --- |
| 1 Introduction | 因果注意力的信息不对称，以及重复提示的成本 | pp.1–2；图 1 |
| 2 Related work | 与 prompt repetition、KV eviction、摘要方法的关系 | pp.2–3 |
| 3 Problem formulation；3.1 Comparison with KV cache eviction | 保序子序列选择问题与预算约束 | pp.3–4；式 (1)–(5) |
| 4.1 Token importance scoring | NLL 标签与信息量解释 | pp.4–5；式 (6)–(8) |
| 4.2 Gating mechanism | 中间层特征、MLP 与可学习键值 | p.5；式 (9)–(11) |
| 4.3 Training the gating module | 数据构造、类别加权损失 | pp.5–6；式 (12)–(15) |
| 4.4 Inference | 连接提示、缓存复用、窗口扩展 | p.6；流程图 2 位于 p.4 |
| 5.1–5.2 Experimental setup / Main results | 七项任务、全部基线和成本 | pp.6–7；表 1 |
| 5.3 Other LLM architectures | 三个模型上的 MMLU | p.7；表 2 |
| 5.4 Long-context tasks | 4k、8k、16k RULER | pp.7–8；表 3 |
| 6.1 Ablation studies；6.2 Efficiency comparison | 门控、窗口消融与长度扩展 | p.8；表 4–5、图 3 |
| 7 Conclusion；Limitations | 总结与作者承认的限制 | pp.8–9 |
| References | 引用目录；本次未逐篇阅读被引论文 | pp.9–10 |
| A Implementation Details | 训练和解码设置 | p.11 |
| B.1–B.5 Additional Ablations | 打分、层位置、预算、连接词、键数量 | pp.11–13；图 4–7、表 6–7 |
| C.1–C.8 Qualitative results | 八种策略最终输入的具体形态 | pp.13–14 |
| D Resources；E Artifact Licenses and Intended Use | 硬件与所用材料的许可声明 | pp.14–15 |

## 一：动机——为早出现的信息提供一次“晚出现”的表示

### 1.1 为什么原样重复可能有用

在因果注意力中，第 $i$ 个位置只能读取它前面的内容。对于输入 $\mathbf t=(t_1,\ldots,t_L)$，较早的 token 表示缺少后续上下文。把完整输入再接一遍之后，第二份中的对应 token 就能够读取第一份的全部内容。

这里改善的是**同一内容在更靠后的位置被重新表示的机会**。注意力掩码本身仍然是因果的，第一份输入的早期表示也不会被事后改成双向表示。作者用这种信息路径解释重复收益，但没有通过独立机制干预证明每项提升都由它造成。（§1，pp.1–2；§3，p.3）

![图 1：不重复、完整重复与选择性重复](figures/fig-01.png)

来源：原图 1，p.1。蓝色为原始输入、红色为追加内容。图中的准确率与成本箭头是概念示意，不是所有任务上的实测保证；实际表格存在完整重复使准确率下降的任务。

### 1.2 PartRep 与相邻方法的区别

| 策略 | 处理对象 | 主要问题 |
| --- | --- | --- |
| 完整重复 | 将原始输入再追加一次 | 所有 token 都承担重复成本 |
| KV 缓存淘汰 | 预填充后保留哪些 KV | 删除什么才不明显损伤后续生成 |
| 输入压缩 | 在模型读取前缩短原文 | 如何用更少输入保存原始信息 |
| PartRep | 保留原文，再追加选中 token | 哪些内容被重新表示最有边际价值 |

先完整重复再淘汰 KV，虽然可减少后续缓存，但已经支付了较长输入的预填充成本。作者还用最后一个 token 举例：它已有完整前文，从“增加可见上下文”的角度看重复收益较小，但它的 KV 对后续生成仍可能很重要。这个例子说明两类选择目标不同，并不构成“末尾 token 在任意任务都不值得重复”的定理。（§2–3.1，pp.2–4）

## 二：方法——高 NLL 标签、小门控与选择性追加

### 2.1 问题与符号

作者要求选择器 $f$ 输出一个**保序子序列**，而不是任意重写的摘要：

$$
\mathbf t_{\rm FR}=\mathbf t\oplus\mathbf t,\qquad
\mathbf t_{\rm PR}=\mathbf t\oplus f(\mathbf t),
$$

$$
\max_f\operatorname{acc}(\mathbf t\oplus f(\mathbf t))
\quad\text{s.t.}\quad
f(\mathbf t)\subset\mathbf t,\quad |f(\mathbf t)|\leq\tau L.
$$

来源：式 (2)–(5)，p.3。这里的 $\subset$ 表示子序列关系，不能把重复出现的同一个词合并成一个集合元素。$\tau$ 是选择比例，主结果为 0.15；真实输入还要包括连接提示与可能的窗口扩展。

| 符号 | 含义与维度 |
| --- | --- |
| $L,\tau$ | 原始输入长度、选中 token 比例 |
| $l^\star$ | 提取隐藏状态的层；Qwen 消融选用第 18 层 |
| $\mathbf h_i\in\mathbb R^d$ | 原始输入位置 $i$ 在 $l^\star$ 层的表示 |
| $d_h=64$ | 门控查询向量的维度 |
| $s=64$ | 默认可学习键的个数，与 $d_h$ 是不同超参数 |
| $K\in\mathbb R^{s\times d_h},\mathbf v\in\mathbb R^s$ | 门控内部的可学习键与标量值 |
| $\eta_\tau$ | 每个样本用于保留最高 $\tau$ 比例 NLL 的阈值 |
| $p_i=g(\mathbf h_i)$ | 本笔记对门控输出概率的记号 |

### 2.2 NLL 是监督信号，不是重复价值的直接测量

$$
\operatorname{NLL}(t_i)=-\log P(t_i\mid t_{<i}).
$$

来源：式 (6)，p.4。概率由目标 LLM 给出。NLL 越大，该 token 在**之前的上下文**中越难预测；作者据此假设，它携带了值得在末尾重新强调的信息。

式 (7) 按 NLL 阈值选择 token。实现含义是“按分数取前 $\tau L$ 个，再恢复原始位置顺序”。若采用通常的累计分布分位数定义，保留上尾 $\tau$ 比例对应约 $1-\tau$ 分位点；原文将 $\eta_\tau$ 称为 $\tau$-quantile，文字有歧义。本笔记依据明确的 top-$\tau$ 预算解释，取整及并列分数处理没有在论文中说明。

**本次分析：** 高 NLL 衡量的是目标模型的惊讶程度，不直接等于对当前问题的因果贡献。罕见、拼写异常或与答案无关的 token 也可能高 NLL。另一方面，这个量使用 $t_{<i}$，不能直接证明该 token 无法被左右两侧的全部上下文恢复。原文的消融提供了经验支持，但不是所有输入下的保证。

作者还提出：

$$
\max_f H(f(\mathbf t)\mid\mathbf t).
$$

来源：式 (8)，pp.4–5。p.5 脚注明确承认，这不是通常随机变量意义上的条件熵，因为确定性函数满足 $H(f(X)\mid X)=0$。较稳妥的理解是模型条件下的“信息量/难预测性”动机。论文没有给出 NLL top-$\tau$ 对准确率目标的最优性证明、近似比或性能界。

### 2.3 门控把精确 NLL 的代价移到离线

![图 2：PartRep 推理流程](figures/fig-02.png)

来源：原图 2，p.4。阅读顺序为原始输入预填充至中间层 → 门控打分 → 选择并追加 → 完成预填充。

精确 NLL 需要得到原始输入的最终词表概率。作者离线支付这个成本，在线用小网络近似“哪些 token 属于最高 NLL 的一组”。它不是在线再次运行一个完整大模型，也不是以 NLL 回归误差为最终训练目标。

对每个隐藏状态，门控先计算查询：

$$
\mathbf q=W_2\operatorname{SiLU}(W_1\mathbf h),\qquad
W_1\in\mathbb R^{2d_h\times d},\quad
W_2\in\mathbb R^{d_h\times2d_h}.
$$

再用查询读取 $s$ 个可学习的键和值：

$$
g(\mathbf h)=
\sigma\!\left[
\mathbf v^\top
\operatorname{Softmax}\!\left(
\frac{\mathbf qK^\top}{\sqrt{d_h}}
\right)\right].
$$

来源：式 (9)–(11)，p.5；$s=64$ 的选择见表 7，p.13。查询与键的乘法沿用原文行向量记法；若全用列向量，应等价写为 $K\mathbf q$。Softmax 对 $s$ 个键归一化，最终得到一个标量概率。

**门控里的 attention 是对可学习原型的读取，不是对输入所有 token 再做一次 $L\times L$ 自注意力。** 跨 token 的上下文已由主模型隐藏状态提供。忽略偏置，门控参数量按这些式子为

$$
2d_hd+2d_h^2+sd_h+s,
$$

对全部 $L$ 个位置的打分总成本随 $L$ 线性增长；这是依据结构的推导，不是原文报告的额外参数总数。论文没有单独报告在线 top-k 排序及其系统开销。

原文对 $f$ 同时使用“子序列选择器”和“分数向量”的记号。为避免混淆，可把完整选择器理解为：隐藏状态提取 → $g$ 输出每个位置的分数 → top-k → 按位置排序 → 抽取 token。

### 2.4 训练数据与损失

先保存隐藏状态和连续 NLL：

$$
\mathcal D=\{(\phi_{\rm LLM}(\mathbf t_i),
\operatorname{NLL}(\mathbf t_i))\}_{i=1}^{n}.
$$

然后对指定 $\tau$，把每条序列中 NLL 最高的 token 标为 1，其余标为 0。保存连续 NLL 的好处是可以为不同预算重新生成标签；这不等于论文证明了同一个训练好的门控对所有预算都无需调整。

$$
\ell(\mathbf t)=\frac1L\sum_{j=1}^{L}
\lambda_j\,\ell_{\rm CE}(p_j,y_j),\qquad
\lambda_j=
\begin{cases}
(1-\tau)/\tau,&y_j=1,\\
1,&y_j=0.
\end{cases}
$$

来源：式 (12)–(15)，pp.5–6。当 $\tau=0.15$ 时，正例权重约 5.67，用于补偿正例较少的问题。主模型冻结，只训练门控。

| 项目 | 原文报告 |
| --- | --- |
| 数据 | FineWeb-Edu 200 万 token + Ultra-FineWeb-Edu 100 万 token |
| 训练片段长度 | 10–1024 token |
| 优化器 | Adam；学习率 $10^{-3}$ |
| 训练轮数与批大小 | 25 epochs；batch size 4096 |
| 调度与早停 | CosineAnnealingLR；验证损失早停，patience 5 |

来源：§4.3，p.5；附录 A.1，p.11。原文没有明确验证集划分、4096 的批单位、训练随机种子、逐模型门控训练耗时，也没有报告门控与 NLL 标签的 precision/recall。门控需要针对每个目标 LLM 单独训练。

### 2.5 推理、复用和窗口扩展

按原文可以整理成以下流程；这是教学伪代码，不是作者发布的实现：

~~~text
输入：原始 token 序列 t、比例 τ、已训练门控 g
1. 将 t 预填充至 l*，保存可复用的前缀状态。
2. 计算每个位置的分数 p_i = g(h_i)。
3. 选择 top-k 位置，k 约为 τL；按原位置排序。
4. 可选：将所选位置扩展到完整词或局部词窗口，合并重叠。
5. 在原文后追加连接提示与选中内容。
6. 复用原始前缀的已有计算，完成扩展输入的预填充与生成。
~~~

默认连接提示为 “Pay attention to these key tokens:”，前后带换行。（§4.4，p.6；表 6，p.11）

**为什么已有前缀可以复用？** 在因果掩码及原位置不变时，追加后缀不会改变前缀在各层的计算结果。实际实现还需管理相应层的 KV 和中间状态，并让新追加位置经过所需层。论文声称复用原始隐藏层特征，但没有给出足以复现的跨层缓存调度代码或成本分解。因此不宜将流程口头简化成“两次完整前向”，也不宜认为一个小门控就代表全部额外开销。

窗口扩展解决两个问题：tokenizer 可能把一个词拆开；孤立关键词可能丢掉局部关系。可以把选中片段扩展为完整词，或加入左右邻词。扩展后应重新计数：最终追加长度可能超过 $\tau L$。论文未明确所有设置的去重、重分词、预算回截规则；RULER 的具体窗口宽度也没有报告。

**教学例子。** 若一个问题同时出现“甲比乙早到”和“乙比丙早到”，只重复人名未必能保留排序关系；连同相邻关系词重复可能更有帮助。这说明选择 token 的信息量与保留局部组合结构是两个互补问题，例子不来自论文实验。

### 2.6 成本公式的适用范围

忽略连接提示、窗口扩展和选择器成本，§3 给出：

$$
N_{\rm PR}\approx(1+\tau)L,\qquad
\frac{M_{\rm PR}}{M_{\rm FR}}\approx\frac{1+\tau}{2},
\qquad
\frac{F_{\rm attn,PR}}{F_{\rm attn,FR}}
\approx\frac{(1+\tau)^2}{4}.
$$

这里 $M$ 是同一模型、同一缓存精度下与 token 数成正比的 KV 存储，$F_{\rm attn}$ 指随长度二次增长的注意力部分。对 $\tau=0.15$，这两个理想比例分别是 **57.5%** 和 **33.1%**；后者不是论文实测/估算的总预填充 FLOPs 比。

若选中 $m$ 个 token，窗口扩展额外增加 $w$ 个，连接与格式提示增加 $c$ 个，则真实长度为 $N=L+m+w+c$。教学上可把完整预填充写成

$$
F_{\rm prefill}\approx A N+B N^2+C_{\rm selection},
$$

其中线性项含投影和 FFN 等计算，二次项是注意力，$C_{\rm selection}$ 还取决于实际调度与复用。常数仅用于解释，不是作者提供的成本公式。完整重复把长度翻倍，不代表总 FLOPs 一定变成四倍；表 1 中其总 FLOPs 约为不重复的 **2.03 倍**。

## 三：实验——实际比较了什么

### 3.1 任务与模型覆盖

| 实验 | 模型 | 数据与主要设置 | 检验问题 |
| --- | --- | --- | --- |
| 主结果 | Qwen2.5-3B Instruct | ARC-Challenge、OpenBookQA、MMLU、MedQA、SciQ、MMLU-Pro、GSM8K；$\tau=0.15$ | 能否接近完整重复的质量与成本折中 |
| 跨架构 | 上述 Qwen、Llama3.2-3B Instruct、Gemma4-E4B it | MMLU | 收益是否局限于一个模型 |
| 长上下文 | Qwen2.5-3B | RULER，4k/8k/16k；$\tau=0.3$，局部窗口扩展 | 选择性重复在长输入下是否仍有用 |
| 门控结构、附录 B 消融 | Qwen2.5-3B | ARC-Challenge | 各设计选择对准确率/成本的影响 |
| 窗口消融 | Llama3.2-3B | ARC-Challenge | 完整词与邻词能否修复片段化 |

来源：§5.1–6.1，pp.6–8；附录 B，p.11。作者总共覆盖三个模型家族、八个 benchmark，**不是三个模型都跑完八项任务**。Gemma 的取特征位置限制在全局注意力层；其具体层号未报告，不能照搬 Qwen 的第 18 层设置。

作者称前七项使用完整测试集；RULER 每个子任务抽 100 道，共 1300 道。没有列出 RULER 每个子任务的得分或各长度的生成种子，也没有统一给出各基准完整提示模板、few-shot 数量、答案抽取规则与采样细节。

### 3.2 七个基线的比较角色

| 基线 | 操作与要检验的替代思路 |
| --- | --- |
| No Repetition | 原文直接生成，衡量追加内容是否值得 |
| + Naïve Summary | 原文后追加由目标模型生成的短摘要；同时计入摘要开销 |
| + LLMLingua | 原文后追加压缩所得短文本；原始输入仍保留 |
| Full Repetition | 追加整份原文，作为重复质量参照 |
| + Echo Eviction | 完整重复后移除第一份对应的 KV，只保留第二份 |
| + H2O Eviction | 完整重复后按 heavy-hitter 策略淘汰 KV |
| + LLMLingua Comp. | 压缩已完整重复的输入，仅把压缩结果交给目标模型 |

来源：§5.1，pp.6–7；附录 C，pp.13–14。两个 LLMLingua 版本不能混为一谈：一个保留原文并追加摘要，一个让目标模型只看到压缩输入。附录 E 指出所用压缩模型为 llmlingua-2-xlm-roberta-large-meetingbank。

这些对照接近预算匹配，但并非全部严格等缓存，例如表 1 中 PartRep 为 280.4 token、H2O 为 270.8、两种追加摘要为 277.4。因此表格给出的是多个工作点的比较，而非严格相同缓存与算力下的完整 Pareto 曲线。

### 3.3 指标和运行协议

- **Accuracy（%）↑**：任务答题准确率。主表给出七项任务各自分数和报告 Avg；不把 Avg 当成将所有题目合并后的 micro accuracy。
- **Avg KV Cache（token）↓**：需要保存逐层 KV 的平均提示 token 数，**不是 MB/GB，也不是峰值 GPU 显存**。跨模型、局部注意力、KV 头数及精度都可能改变每个 token 的字节成本。
- **Avg Prefill FLOPs ↓**：预填充计算量；$1\,\mathrm T=10^{12}$ 次浮点运算。作者说计入选择、摘要与淘汰相关的额外处理；图 3 明确是估算 FLOPs，未给完整核算公式。
- 所有实验为 **greedy decoding、单次运行、bfloat16**。通常输出上限 1000 token，GSM8K 为 3000。
- 八种方法中六种用 vLLM；Echo 与 H2O 使用手工 KV 解码。硬件为 8 张 NVIDIA GeForce RTX 4090；原文没有说明每项实验的并行配置与吞吐测量协议。

来源：§5.1，p.7；附录 A.2，p.11；D，p.14。没有多随机种子误差条、置信区间或显著性检验。图 5 有层位置与延迟的局部消融，但不构成所有方法的端到端延迟对比；主表 FLOPs 节省也不能直接换算为相同百分比的提速。

## 四：结果——质量收益、成本与消融分别说明了什么

### 4.1 主结果：平均质量接近完整重复

下表从表 1（p.6）重排，所有平均分沿用作者报告值。

| 方法 | Avg accuracy ↑ | KV token ↓ | Prefill FLOPs ↓ |
| --- | ---: | ---: | ---: |
| 不重复 | 66.9 | 235.5 | 1.549 T |
| 追加模型摘要 | 67.9 | 277.4 | 3.676 T |
| 追加 LLMLingua 摘要 | 67.4 | 277.4 | 2.105 T |
| 完整重复 | 68.5 | 471.1 | 3.140 T |
| 完整重复 + Echo 淘汰 | 64.4 | 235.5 | 3.152 T |
| 完整重复 + H2O 淘汰 | 62.9 | 270.8 | 3.162 T |
| LLMLingua 压缩重复输入 | 14.9 | 78.6 | 1.130 T |
| **PartRep，$\tau=0.15$** | **68.3** | **280.4** | **2.481 T** |

PartRep 比不重复提高 **1.4 个百分点**，比完整重复低 **0.2 个百分点**。用已四舍五入的平均分计算，它保留了完整重复相对不重复增益的约 $(68.3-66.9)/(68.5-66.9)=87.5\%$；这是本次派生量，不是独立统计结果，也不能当成跨任务不变的比例。

与追加 LLMLingua 摘要相比，PartRep 平均准确率高 0.9 个百分点，但 FLOPs 也更高；不能说它在质量与计算上同时支配所有摘要方法。自生成摘要虽然平均分达到 67.9，其摘要生成开销使总 FLOPs 高于完整重复。

LLMLingua Comp. 的 14.9 表明**本文特定的压缩和提示设置**非常差。附录样例确有片段化内容，但没有充分诊断答案格式、压缩率、tokenizer 等各因素，不能据此否定 LLMLingua 或输入压缩方法的一般有效性。

### 4.2 逐任务分数显示哪些收益被平均值遮住

| Benchmark | 不重复 | 完整重复 | PartRep | PartRep − 不重复 |
| --- | ---: | ---: | ---: | ---: |
| ARC-Challenge | 79.8 | 82.8 | 81.4 | +1.6 pp |
| OpenBookQA | 76.6 | 78.0 | 77.8 | +1.2 pp |
| MMLU | 62.5 | 60.3 | 63.2 | +0.7 pp |
| MedQA | 47.5 | 51.0 | 50.3 | +2.8 pp |
| SciQ | 90.3 | 92.9 | 92.2 | +1.9 pp |
| MMLU-Pro | 27.8 | 27.3 | 27.8 | 0.0 pp |
| GSM8K | 84.2 | 87.3 | 85.5 | +1.3 pp |

来源：表 1，p.6；pp 指百分点。按报告精度，PartRep 在六项高于不重复，MMLU-Pro 持平；与完整重复相比，仅 MMLU 和 MMLU-Pro 更高，其余五项更低。完整重复在 MMLU 上下降 2.2 个百分点，在 MMLU-Pro 上下降 0.5 个百分点，因此“重复总能提高质量”不符合这张表。

**作者解释：** 选择性追加可能避免冗长上下文的不利影响。**本次分析：** 结果与这种解释相容，但作者没有隔离长度、连接提示和 token 内容三个因素；不能从该表直接证明改善来自缓解 lost-in-the-middle。

### 4.3 摘要中的 59.4% 与 79.0% 应怎样读

由表 1 的显示值重算：

$$
\frac{280.4}{471.1}=59.52\%,\qquad
\frac{2.481}{3.140}=79.01\%.
$$

因此相对完整重复，缓存 token 数约减少 **40.5%**，报告总预填充 FLOPs 约减少 **21.0%**。原文摘要与结论称“使用 59.4% 的 KV、79.0% 的 FLOPs”；KV 比例与表格重算的约 **59.5%** 有小差异，原文没有解释。笔记保留原表并明确区分作者表述与重算。

相对不重复则是：

$$
\frac{280.4}{235.5}-1=19.1\%,\qquad
\frac{2.481}{1.549}-1=60.2\%.
$$

这两组参照不能互换。表 1 是 Qwen2.5-3B 七项任务的结果，不能把这两个汇总比例视作三种模型或所有长度均成立的定律。

### 4.4 跨模型：MMLU 有一致方向的小幅收益，但非全部最优

| 方法 | Qwen2.5-3B | Llama3.2-3B | Gemma4-E4B |
| --- | ---: | ---: | ---: |
| 不重复 | 62.5 | 54.1 | 74.0 |
| 完整重复 | 60.3 | 54.8 | 72.9 |
| 追加 LLMLingua 摘要 | 61.0 | 53.5 | 76.1 |
| PartRep | 63.2 | 54.3 | 75.8 |
| PartRep − 不重复 | +0.7 pp | +0.2 pp | +1.8 pp |

来源：§5.3、表 2，p.7。PartRep 在三种模型上都高于不重复，但 Llama 上低于完整重复，Gemma 上低于追加 LLMLingua 摘要；0.2 个百分点的单次差值尤其不应包装成稳健优势。这里也没有门控跨模型零样本迁移实验，每个模型需要自己的训练。

### 4.5 RULER：更大预算和局部上下文下优于完整重复

| 方法 | 4k | 8k | 16k |
| --- | ---: | ---: | ---: |
| 不重复 | 77.7 | 80.0 | 72.3 |
| 完整重复 | 79.2 | 82.3 | 72.3 |
| LLMLingua（表 3 标注） | 69.2 | 73.1 | 63.5 |
| **PartRep：$\tau=0.3$ + 局部窗口** | **80.0** | **83.8** | **73.2** |
| PartRep − 完整重复 | +0.8 pp | +1.5 pp | +0.9 pp |

来源：§5.4、表 3，p.7。模型为 Qwen2.5-3B。PartRep 相对不重复分别提高 2.3、3.8、0.9 个百分点，表明这种设置在测试的长上下文任务上仍有效。

三个边界：

- 这里的 $\tau$ 翻倍，并开启窗口扩展，不能归因为主表同样的 15% token 策略。
- 表 3 未附实际缓存量、FLOPs、延迟或扩展后的有效比例；也未充分消除“原始长度还是最终重复长度”的记账歧义，不能用 16k 标签直接推断最终请求占用。
- 作者称长度增加时差距收窄，但与完整重复的三个差值并不单调；更准确的说法是 16k 时收益仍在，且相对不重复的收益较小。表 3 也未单独说明 LLMLingua 行在两个变体中的精确对应方式。

### 4.6 门控结构与窗口消融

**门控结构：Qwen2.5-3B，ARC-Challenge。**

| 结构 | Accuracy（%） | Gate FLOPs（原表口径） |
| --- | ---: | ---: |
| 无重复 | 79.8 | 0 k |
| Linear | 80.7 | 270.6 k |
| 两层 MLP 配置（本文） | 81.4 | 549.0 k |
| Transformer-based | 81.3 | 654.3 k |

来源：表 4，p.8。两层 MLP 的报告准确率最高，成本低于更复杂的 Transformer 配置。它并非绝对最省算力，Linear 更便宜；81.4 与 81.3 的差距没有统计检验。正文完整门控还含可学习键值的注意力，不能把表中简称误读成纯 MLP。Gate FLOPs 的逐 token/逐请求归一化口径未明确，不与主表的 T FLOPs 直接相除。

**窗口扩展：Llama3.2-3B，ARC-Challenge。**

| 扩展方式 | Accuracy（%） | KV token |
| --- | ---: | ---: |
| 不扩展 | 61.5 | 90.1 |
| 扩到一个完整词 | 64.6 | 94.5 |
| 完整词再加左、右各一词 | 66.0 | 110.2 |

来源：表 5，p.8。最后一项相对不扩展提高 **4.5 个百分点**，KV 增加约 **22.3%**。这说明局部语义完整性可以相当重要，也说明质量收益的一部分要用更多追加内容来换，不能只报准确率变化。

### 4.7 附录 B：五项选择依据

**B.1 打分信号。** 下图横轴是重复比例，纵轴是 ARC 准确率；蓝线为最高 NLL，橙线为最低 NLL，绿线为随机选择，红线为 attention，紫线为 TF–IDF；两条虚线分别是不重复和完整重复。

![图 4：打分方式与重复比例](figures/fig-04.png)

来源：原图 4，p.11，Qwen2.5-3B。高 NLL 总体优于低 NLL 与随机选择，支持“选择的内容确实重要”。但在 15% 和 90% 附近，attention 曲线高于最高 NLL；90% 时 TF–IDF 也高于它。因此正文“始终匹配或超过”的表述强于图中证据。这里比较的是选择信号，不能把其最高 NLL 曲线直接当成已训练门控的主结果；图 4 在 15% 处约 82.3%，而表 1 的 PartRep 为 81.4%，原文没有完整分解两者差距。

**B.2 取特征层。** 横轴为层号，左轴蓝线为准确率，右轴红线为延迟（毫秒）。

![图 5：中间层选择的质量与延迟](figures/fig-05.png)

来源：原图 5，p.12。第 18 层和第 30 层准确率均约 81.4%，但 18 层延迟较低；因此作者选 18 层。曲线并不是越深越准，也没有证明此层号可泛化到其他架构。延迟图没有完整说明 batch、计时范围及对照方法，只支持该局部设置下随提取深度增加的成本趋势。

**B.3 重复预算。**

![图 6：增加重复比例不保证提高准确率](figures/fig-06.png)

来源：原图 6，p.12。横轴为 $\tau$（百分比），左轴为准确率，右轴标注 KV cache（tokens）。图示准确率在 15% 时约 81.4%，60% 时约 80.4%，90% 时约 81.3%，呈非单调变化。作者猜测大预算使“关键 token”这个连接提示的含义变弱；这是解释假设，没有单独验证。

右轴从约 64 增至 69 token，但图注未交代这一数值如何与输入长度、连接词、重分词或主表缓存口径对应。不能仅凭这条轴复现缓存公式，也不能断言增大 $\tau$ 的代价仅为 5 token。

**B.4 连接提示。** 这项消融十分关键，因为 PartRep 的收益来自“选哪些内容”和“如何提示模型使用它们”共同作用。

| 连接方式 | ARC accuracy（%） |
| --- | ---: |
| 普通自然语言提示（默认） | 81.4 |
| ChatML 包装 | 70.6 |
| 自然语言 + ChatML | 79.5 |
| 直接拼接 | 79.4 |
| XML 包装 | 71.6 |
| 技术性自然语言提示 | 80.9 |

来源：图 7 标注值，p.12；模板见表 6，p.11。默认提示优于直接拼接 **2.0 个百分点**。结构标签较差可能涉及模型对模板或特殊 token 的解释，但论文没有隔离原因，不能推广成“任何 XML/ChatML 提示都差”。这些结果也不支持“随便追加高 NLL token 就够了”。

**B.5 可学习键数。**

| $s$ | ARC accuracy（%） | Gate FLOPs（原表口径） |
| --- | ---: | ---: |
| 32 | 80.1 | 544.8 k |
| 64 | 81.4 | 549.0 k |
| 128 | 80.6 | 557.3 k |

来源：表 7，p.13。64 是本组消融的较好工作点；增加原型容量并不带来单调收益，没有足够证据把它称为跨任务最优值。

### 4.8 效率扩展图：降低系数，未改变复杂度阶

![图 3：缓存与估算预填充 FLOPs 随原始长度变化](figures/fig-03.png)

来源：原图 3，p.8。两面板横轴均为 4k–16k 的 prompt length；上图纵轴是保存的 KV token 数，下图是 FLOPs（P，$10^{15}$）。完整重复的缓存曲线接近 $2L$；PartRep 低于它，但高于不重复。Echo/H2O 的 FLOPs 曲线接近完整重复，因为先处理了长输入；仅压缩输入的 LLMLingua Comp. 成本低，但须结合其质量损失看待。

§6.2 对 PartRep 缓存增长“越来越可忽略”的文字不应按渐近结论理解：固定 $\tau$ 时仍是 $O(L)$，密集预填充注意力仍是 $O(L^2)$，改进是常数系数。图中较低的系数不代表渐近增长消失，也不是端到端加速测量。

### 4.9 定性样例提供输入解释，不提供额外准确率证据

附录 C（pp.13–14）用一道关于农场、猛禽与鼠类数量变化的 ARC 题目展示八种输入形态。PartRep 保留原题，追加若干实体、动作与选项片段，并在末尾保留回答格式要求；输出的关键词串并不是流畅摘要。模型摘要和 LLMLingua 摘要可能遗漏原题的一些关系，而 Echo/H2O 的红字展示被丢弃的 KV 对应位置。

这些样例有助于理解为何保留原文、窗口扩展及最终回答格式都重要，但没有给各方法在这道题上的成对生成结果或错误归因。它们不是独立的定性成功率评估，也不能单凭一个样例判定某条被选 token 必然提高正确率。

## 五：结论、可信范围与可继续验证的问题

### 5.1 最值得记住的贡献

**PartRep 将“值得再次表示的信息”变成一个可训练的输入侧选择问题。** 它用目标模型自己的 NLL 生成弱监督，再让一个小门控从中间层特征预测选择标签，避免在线完整计算词表分布。本文最扎实的贡献是这个流程及其经验性的质量—成本折中。

结果支持：在所测小型指令模型与指定任务上，少量重复可接近完整重复的平均收益；局部窗口和连接提示对效果有实际影响。它没有证明每个 token 的 NLL 是重复收益的因果估计，没有消除自注意力的二次复杂度，也没有展示对所有模型/任务统一最优的配置。

### 5.2 作者明确承认的限制

- 每个目标 LLM 都要离线构造标签并训练门控，不能直接视作无需训练的黑盒 prompting，也没有验证跨架构零样本迁移。
- 方法依赖 token 单独或局部组合后仍有可用语义。图像 token 的零散重复可能破坏结构，视觉语言模型的适用性尚未验证。

来源：Limitations，p.9。

### 5.3 阅读时需要保留的证据边界

| 问题 | 已有证据 | 尚缺的证据 |
| --- | --- | --- |
| 平均质量是否接近完整重复 | Qwen 七项任务 68.3 vs 68.5 | 多次训练/运行的不确定性；更大模型和更广任务 |
| 是否普遍优于完整重复 | MMLU 部分模型、RULER 所测长度更高 | 主表五项较低，不能作普遍断言 |
| 是否降低实际部署时间 | 估算 FLOPs；取层延迟消融 | 公平后端下的 TTFT、吞吐、端到端延迟和峰值显存 |
| 为何高 NLL 有用 | 打分消融优于随机/低 NLL 的总体趋势 | 与重复边际收益的直接测量及因果隔离 |
| 是否严格满足预算 | 选择前比例 $\tau$ 的约束 | 窗口、连接词、格式后缀后的统一有效预算 |
| 长上下文是否可稳定迁移 | 训练片段至 1024、RULER 测至 16k | 更长长度、真实长文任务、逐子任务和分布变化分析 |
| 早退是否真正低开销 | 作者称复用前缀状态 | 完整调度实现、选择开销、FLOPs 分项账单 |

附录 B 的多个超参数都在 ARC-Challenge 上展示，但未明确是否使用独立开发集调参；宜避免将该基准上的最佳配置看作无偏泛化估计。原始源码包包含论文 TeX 与图件，不包含推理/训练实现；本次没有据此声称作者在其他位置未公开代码。

### 5.4 原文中需要特别辨清的记号与口径

1. **59.4% 与表格重算。** 摘要/结论的 KV 比例是 59.4%；表 1 显示值重算为约 59.5%，两者均已注明。
2. **信息熵记号。** 式 (8) 的解释受 p.5 脚注限制，不按标准条件熵定理使用。
3. **$\tau$ 的维度。** 附录 C.4–C.5 把摘要长度写成 $\tau$ tokens，C.8 把 H2O 保留长度写成 $L+\tau$；与正文 $\tau$ 为比例不一致。按正文应理解为约 $\tau L$ 与 $L+\tau L$ 的意图，但实际实现规则没有代码可核对。
4. **图不完全支持绝对化措辞。** 高 NLL 不是所有预算最优；RULER 差距不是随长度单调减小；PartRep 主表并非各任务均超过完整重复。
5. **缓存代理与真实显存。** token 数方便在同模型内比较，不能自动替代字节级内存测量；正文理想公式也未计入所有提示与窗口扩展。

这些问题不抹去表格中观察到的平均收益，但影响复现、理论表述和部署预期。

### 5.5 适合组会讨论的三个后续实验

以下为本次分析提出的实验，并非论文已完成内容：

1. 在**相同最终追加 token 数**下比较高 NLL、attention、随机、最优局部窗口，固定连接提示，测清选择规则本身的边际价值。
2. 记录离线 NLL 标签、门控预测与实际“重复该片段后准确率变化”的关系，区分预测标签准确与对任务有效这两个目标。
3. 在统一推理后端落实前缀复用，分别报告门控、排序、窗口处理、预填充和解码的耗时，并同时测不同请求长度、批大小下的 TTFT 与峰值显存。

## 复用材料与汇报建议

英文幻灯片围绕“为什么重复 → 选择与训练 → 主结果 → 长上下文 → 消融与边界”组织，主讲约 20–30 分钟，其余细节在备份页。构建方式：

~~~bash
python3 build_slides.py slides.en.tex
~~~

图件来源和裁切坐标见 [figures/provenance.json](figures/provenance.json)。所有原图只做格式转换或保留完整坐标、图例的面板裁切；没有生成式重绘实验结果。幻灯片中重排的结果表均注明原表号，所有派生比例均由本文显示值计算。