Training
按研读更新时间浏览本主题的论文；一篇论文可属于多个主题。
PaTH
PaTH Attention: Position Encoding via Accumulating Householder Transformations
PaTH 将内容相关的 Householder 路径乘积引入 softmax attention，增强状态追踪；与 FoX 结合改善长上下文检索，转换收益依赖训练协议。
NL
Nested Learning: The Illusion of Deep Learning Architectures
NL 将架构和优化器统一为多时间尺度的联想记忆，Hope 结合自指更新与 CMS 改善持续学习，但精确召回与计算成本仍有取舍。
Triadic
Triadic Linear Attention: Three-Dimensional Recurrent States for Long-Context Sequence Modeling
Triadic以双key乘积地址低参数扩展三维递归状态，改善长文预测与召回；8倍状态约增加30%单块训练耗时，最长精确检索仍有缺口。
M2RNN
M$^2$RNN: Non-Linear RNNs with Matrix-Valued States for Scalable Language Modeling
M²RNN以矩阵状态扩展非线性递推，单层替换改善7B GDN混合模型的语言建模与长上下文表现，并保留接近基线的训练吞吐。
DSLA
On-the-Fly Adaptive Distillation of Transformer to Dual-State Linear Attention
DSLA以历史与近期双状态配合按敏感度逐层转换，在指定服务回放中实现2.29倍加速，并呈现任务相关的质量取舍。
Sleep
Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories
Sleep 用更新前自蒸馏与慢层专家巩固记忆，再通过 Dreaming 改善适配，收益受任务协议与容量成本限制。
LoLCATs
LoLCATs: On Low-Rank Linearizing of Large Language Models
LoLCATs以注意力输出迁移和LoRA低成本转换大模型，扩展至405B，但MMLU与检索能力仍受架构和数据限制。
RelaxedRecursive
Relaxed Recursive Transformers: Effective Parameter Sharing with Layer-wise LoRA
通过共享层块与逐层SVD残差LoRA转换预训练模型，在参数量和精度间折中；连续深度批处理的加速证据仍基于理想早退模拟。
PDN
Preconditioned DeltaNet: Curvature-aware Sequence Modeling for Linear Recurrences
以有界对角历史统计预条件 DeltaNet 写 key，保留分块效率并改善配对平均指标；精确等价与单步谱界的适用条件需区分。
MELT
Memory-Efficient Looped Transformer: Decoupling Compute from Memory in Looped Language Models
MELT 以门控记忆和两阶段迁移将四轮循环的 KV 缓存降至 Ouro 的四分之一，保留接近教师的性能；精读标注原文排名与显存算术差异。
CL-Composition
Continual Learning Mechanisms Compose for Long-Horizon Memorization
生成式回放与合并LoRA呈现显著协同，延长100任务下的记忆寿命，但仍无法避免旧记忆与通用能力退化。
CLVR
Linear Attention Architectures: Mechanisms, Trade-offs, and Cross-Layer Routing
统一比较线性注意力的记忆控制与训练权衡，CLVR 将写入值投影至共享残差流，在匹配单次实验中小幅降低验证损失。
没有找到匹配论文，试试其他关键词或标签。