Learning & Theory
训练方法、上下文学习与模型机理分析。
Trace-as-State
Trace as State: Reasoning Traces as Conditional States for Long-Context Transformers
将首轮推理轨迹前置到长上下文重读，在多数指标上优于同轨迹后置；最强收益来自图父节点任务，并伴随额外推理成本。
ICL-Data
Data Distributional Properties Drive Emergent In-Context Learning in Transformers
局部重复、类别稀有性和动态映射促进上下文学习；Zipf 分布可使其与常见类参数记忆共存，但完整输出评估揭示选择限制。
JRT
Just read twice: closing the recall gap for recurrent language models
JRT 通过重复提示和非因果前缀编码改善有限状态模型的召回，收益依赖提示、填充及内核条件。
PartRep
PARTREP: Learning What to Repeat for Decoder-only LLMs
PartRep 用高 NLL 监督训练中间层门控，以选择性重复保留接近完整重复的平均收益，并降低相对完整重复的缓存与预填充成本。
Sleep
Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories
Sleep 用更新前自蒸馏与慢层专家巩固记忆，再通过 Dreaming 改善适配，收益受任务协议与容量成本限制。
SSM-Gating
On the Importance of Gating: Memorization vs. In-Context Learning in State Space Models
门控使 SSM 的参数记忆与上下文检索产生优化竞争，并在保留远处信号与抑制长上下文干扰之间形成取舍。
LoLCATs
LoLCATs: On Low-Rank Linearizing of Large Language Models
LoLCATs以注意力输出迁移和LoRA低成本转换大模型，扩展至405B，但MMLU与检索能力仍受架构和数据限制。
RelaxedRecursive
Relaxed Recursive Transformers: Effective Parameter Sharing with Layer-wise LoRA
通过共享层块与逐层SVD残差LoRA转换预训练模型，在参数量和精度间折中；连续深度批处理的加速证据仍基于理想早退模拟。
Attention-Temperature
Subquadratic Algorithms and Hardness for Attention with Any Temperature
固定维度下以局部多项式和半空间查询实现任意温度的次二次注意力，并给出条件下界；研读标注了 v1 的证明问题。
PDN
Preconditioned DeltaNet: Curvature-aware Sequence Modeling for Linear Recurrences
以有界对角历史统计预条件 DeltaNet 写 key，保留分块效率并改善配对平均指标；精确等价与单步谱界的适用条件需区分。
MELT
Memory-Efficient Looped Transformer: Decoupling Compute from Memory in Looped Language Models
MELT 以门控记忆和两阶段迁移将四轮循环的 KV 缓存降至 Ouro 的四分之一，保留接近教师的性能；精读标注原文排名与显存算术差异。
CKA
Similarity of Neural Network Representations Revisited
CKA 通过比较中心化样本关系并保留谱尺度，识别神经网络层对应，揭示过强线性不变性的局限。
CL-Composition
Continual Learning Mechanisms Compose for Long-Horizon Memorization
生成式回放与合并LoRA呈现显著协同，延长100任务下的记忆寿命，但仍无法避免旧记忆与通用能力退化。
Parcae
Parcae: Scaling Laws For Stable Looped Language Models
Parcae 通过约束循环状态传递与改进深度采样稳定训练，并发现循环与数据协同增长、推理收益趋于饱和的经验缩放律。
CLVR
Linear Attention Architectures: Mechanisms, Trade-offs, and Cross-Layer Routing
统一比较线性注意力的记忆控制与训练权衡，CLVR 将写入值投影至共享残差流，在匹配单次实验中小幅降低验证损失。
没有找到匹配论文，试试其他关键词或标签。