Training
按研读更新时间浏览本主题的论文；一篇论文可属于多个主题。
MLPMemory
MLP Memory: A Retriever-Pretrained Memory for Large Language Models
把 kNN 检索词分布蒸馏进独立 MLP，以概率融合增强语言模型知识利用并降低在线检索延迟。
FG2-GDN
FG$^2$-GDN: Enhancing Long-Context Gated Delta Networks with Doubly Fine-Grained Control
FG²-GDN 以通道级写入率补足 KDA 的通道级遗忘，并以对称缩放保留并行结构；FG²-GDN+ 在 RULER 与 LongBench 聚合分数最佳。
SMT
Pretraining Recurrent Networks without Recurrence
SMT通过并行教师的预测记忆标签训练非线性RNN单步更新，并用DMT校正滚动漂移，改善长程学习与串行计算效率。
CST
Learning Length-Extrapolatable Recurrent Models
CST 通过局部缩放反向状态信用改善循环模型的长度外推，在合成任务与小型语言模型中取得收益，但存在任务依赖与训练吞吐代价。
SoftmaxFix
A Fix for Softmax and Cross-Entropy
通过重排 softmax 和交叉熵的浮点计算，保留高置信度与近教师蒸馏时的微小梯度，并消除所测任务中的 Slingshot 尖峰和学生漂移。
Cortex
Cortex: Consolidating Context into Parametric Memory
Cortex 用前瞻性查询和有上下文教师蒸馏，将经验写入可合并的 FFN 更新；50 次连续事实编辑恢复 88.9% 的上下文增益并保留 99.8% 的所测非目标表现。
LoGRA
LoGRA: Scaling LLM Reinforcement Learning with Low-Rank Gradient Sketches
LoGRA 直接累计低秩梯度并用预测 KL 控制步长，使 7B 强化学习平均训练显存降低 45.7%，且在八张 H100 上训练密集 Adam 无法容纳的 27B 模型。
EndOfToken
Breaking the Token Ceiling: Distilling Smaller, Stronger Byte Models
EOT 用显式 token 边界精确转换教师分布；字节学生后期改善更快，4.0 个百分点的领先属于缩放律渐近外推，需结合验证集敏感性与推理成本解读。
MemT
MemT-1.0: Towards Memory-Native Evolution
MemT-1.0 以稳定逐 token 写入和跨轮状态在参数化记忆基准领先，并降低长历史存储与延迟；精细召回仍落后于文本记忆。
SparDA
SparDA: Sparse Decoupled Attention for Efficient Long-Context LLM Inference
SparDA训练轻量Forecast提前一层选块，以紧凑索引器和常驻UVA预取重叠通信与计算，在两种8B模型上保持平均质量并提高长上下文吞吐。
OAL
Not All Dimensions Are Equal: Outlier-Aware Attention Linearization with Grouped Quadratic Kernels
OAL 按 QK 维度贡献分组学习正值二次核，以精确 HD 递推改善预训练注意力转换；系数少但二阶状态成本仍高。
HypeNet
Hybrid Linear Attention Done Right: Efficient Distillation and Effective Architectures for Extremely Long Contexts
HALO以约2.3B tokens转换Qwen3，HypeNet结合循环RoPE、全局NoPE与动态缩放改善长检索和效率；研读标注v1数值与配置差异。
HedgeCATs
Untangling Component Imbalance in Hybrid Linear Attention Conversion Methods
通过组件消融揭示混合线性注意力转换中对滑窗分支的过度依赖，并用推理时混合、HedgeCATs 与 SSD 保留线性分支的有效贡献。
Sigma
Large Language Continuous Diffusion Models
Sigma 将可学习低维连续扩散扩展到 3B/8B，以轨迹引导、球面正则化和蒸馏改善推理覆盖率与少步生成。
Puro-2B
Puro-2B: Poor Lab's Qwen2-1.5B Trained on RTX 5090 within $5090
Puro-2B结合消费级GPU、FP8、MuonH与课程模型平均，在限定GPU成本口径下以约4.4K美元达到Qwen2综合分数，最佳6.9K美元模型保留后训练收益。
FMLM-star
Self-conditioned Flow Map Language Models via Fixed-point Flows
将自条件解释为局部不动点迭代，分别蒸馏预测修正与流时间推进，改善单步及少步文本生成；在线方案降低蒸馏成本。
ELF
ELF: Embedded Language Flows
ELF 通过连续嵌入流与共享末端解码改善少步文本生成，渐进蒸馏进一步提速；效果需结合多样性、语义忠实度与训练成本解读。
CDLM
Consistent Diffusion Language Models
CDLM 利用精确后验桥实现单阶段跨噪声一致性训练，改善少步离散生成；收益需结合熵评价，效率报告采用 NFE。
LoopMDM
Looped Diffusion Language Models
LoopMDM以少量早中层共享循环改善掩码扩散模型的训练效率和质量，自适应停止减少循环开销；需区分训练与推理预算。
REMORY
REMORY: Learning Residual Memory for Context Compaction
REMORY 以摘要条件软记忆补偿上下文压缩，改善来源归属与智能体决策；生成费用下降尚未计入记忆网络计算。
没有找到匹配论文，试试其他关键词或标签。