distillation
按标签浏览论文。
MLPMemory
MLP Memory: A Retriever-Pretrained Memory for Large Language Models
把 kNN 检索词分布蒸馏进独立 MLP，以概率融合增强语言模型知识利用并降低在线检索延迟。
SMT
Pretraining Recurrent Networks without Recurrence
SMT通过并行教师的预测记忆标签训练非线性RNN单步更新，并用DMT校正滚动漂移，改善长程学习与串行计算效率。
SoftmaxFix
A Fix for Softmax and Cross-Entropy
通过重排 softmax 和交叉熵的浮点计算，保留高置信度与近教师蒸馏时的微小梯度，并消除所测任务中的 Slingshot 尖峰和学生漂移。
Cortex
Cortex: Consolidating Context into Parametric Memory
Cortex 用前瞻性查询和有上下文教师蒸馏，将经验写入可合并的 FFN 更新；50 次连续事实编辑恢复 88.9% 的上下文增益并保留 99.8% 的所测非目标表现。
EndOfToken
Breaking the Token Ceiling: Distilling Smaller, Stronger Byte Models
EOT 用显式 token 边界精确转换教师分布；字节学生后期改善更快，4.0 个百分点的领先属于缩放律渐近外推，需结合验证集敏感性与推理成本解读。
MemT
MemT-1.0: Towards Memory-Native Evolution
MemT-1.0 以稳定逐 token 写入和跨轮状态在参数化记忆基准领先，并降低长历史存储与延迟；精细召回仍落后于文本记忆。
SparDA
SparDA: Sparse Decoupled Attention for Efficient Long-Context LLM Inference
SparDA训练轻量Forecast提前一层选块，以紧凑索引器和常驻UVA预取重叠通信与计算，在两种8B模型上保持平均质量并提高长上下文吞吐。
OAL
Not All Dimensions Are Equal: Outlier-Aware Attention Linearization with Grouped Quadratic Kernels
OAL 按 QK 维度贡献分组学习正值二次核，以精确 HD 递推改善预训练注意力转换；系数少但二阶状态成本仍高。
HypeNet
Hybrid Linear Attention Done Right: Efficient Distillation and Effective Architectures for Extremely Long Contexts
HALO以约2.3B tokens转换Qwen3，HypeNet结合循环RoPE、全局NoPE与动态缩放改善长检索和效率；研读标注v1数值与配置差异。
HedgeCATs
Untangling Component Imbalance in Hybrid Linear Attention Conversion Methods
通过组件消融揭示混合线性注意力转换中对滑窗分支的过度依赖，并用推理时混合、HedgeCATs 与 SSD 保留线性分支的有效贡献。
Sigma
Large Language Continuous Diffusion Models
Sigma 将可学习低维连续扩散扩展到 3B/8B，以轨迹引导、球面正则化和蒸馏改善推理覆盖率与少步生成。
FMLM-star
Self-conditioned Flow Map Language Models via Fixed-point Flows
将自条件解释为局部不动点迭代，分别蒸馏预测修正与流时间推进，改善单步及少步文本生成；在线方案降低蒸馏成本。
ELF
ELF: Embedded Language Flows
ELF 通过连续嵌入流与共享末端解码改善少步文本生成，渐进蒸馏进一步提速；效果需结合多样性、语义忠实度与训练成本解读。
CDLM
Consistent Diffusion Language Models
CDLM 利用精确后验桥实现单阶段跨噪声一致性训练，改善少步离散生成；收益需结合熵评价，效率报告采用 NFE。
REMORY
REMORY: Learning Residual Memory for Context Compaction
REMORY 以摘要条件软记忆补偿上下文压缩，改善来源归属与智能体决策；生成费用下降尚未计入记忆网络计算。
PaTH
PaTH Attention: Position Encoding via Accumulating Householder Transformations
PaTH 将内容相关的 Householder 路径乘积引入 softmax attention，增强状态追踪；与 FoX 结合改善长上下文检索，转换收益依赖训练协议。
DSLA
On-the-Fly Adaptive Distillation of Transformer to Dual-State Linear Attention
DSLA以历史与近期双状态配合按敏感度逐层转换，在指定服务回放中实现2.29倍加速，并呈现任务相关的质量取舍。
Sleep
Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories
Sleep 用更新前自蒸馏与慢层专家巩固记忆，再通过 Dreaming 改善适配，收益受任务协议与容量成本限制。
LoLCATs
LoLCATs: On Low-Rank Linearizing of Large Language Models
LoLCATs以注意力输出迁移和LoRA低成本转换大模型，扩展至405B，但MMLU与检索能力仍受架构和数据限制。
MELT
Memory-Efficient Looped Transformer: Decoupling Compute from Memory in Looped Language Models
MELT 以门控记忆和两阶段迁移将四轮循环的 KV 缓存降至 Ouro 的四分之一，保留接近教师的性能；精读标注原文排名与显存算术差异。
没有找到匹配论文，试试其他关键词或标签。