Learning & Theory
训练方法、上下文学习与模型机理分析。
ASI
Dimensional Collapse in Transformer Attention Outputs: A Challenge for Sparse Dictionary Learning
注意力输出的低有效秩与 SAE 死特征相关；ASI 对齐活跃子空间改善重建，百万特征下结合 SparseAdam 将死特征从约 87% 降至不足 1%。
MLPMemory
MLP Memory: A Retriever-Pretrained Memory for Large Language Models
把 kNN 检索词分布蒸馏进独立 MLP，以概率融合增强语言模型知识利用并降低在线检索延迟。
FG2-GDN
FG$^2$-GDN: Enhancing Long-Context Gated Delta Networks with Doubly Fine-Grained Control
FG²-GDN 以通道级写入率补足 KDA 的通道级遗忘，并以对称缩放保留并行结构；FG²-GDN+ 在 RULER 与 LongBench 聚合分数最佳。
DeltaFormer
Understanding Transformer from the Perspective of Associative Memory
以关联记忆的检索信噪比与残差写入统一分析 Attention 和 FFN，并以 DeltaFormer 的状态追踪构造及合成实验展示核与更新规则的作用。
Linear-ICL
What can linear attention learn from nonlinear teachers in-context?
简化线性注意力在高维无正则极限下仅利用教师的一阶 Hermite 分量，其余分量形成等效噪声；研读说明了图1的归一化问题。
SMT
Pretraining Recurrent Networks without Recurrence
SMT通过并行教师的预测记忆标签训练非线性RNN单步更新，并用DMT校正滚动漂移，改善长程学习与串行计算效率。
SpectralShift
SpectralShift: Effective Context Window Extension of Gated DeltaNet via Spectral Reparameterization
以 α 投影的中心化收缩和学习率缩放调整 GDN 记忆时间尺度，分阶段 128K 扩窗的跨长度 RULER 均分提高 2.80 分。
CST
Learning Length-Extrapolatable Recurrent Models
CST 通过局部缩放反向状态信用改善循环模型的长度外推，在合成任务与小型语言模型中取得收益，但存在任务依赖与训练吞吐代价。
SoftmaxFix
A Fix for Softmax and Cross-Entropy
通过重排 softmax 和交叉熵的浮点计算，保留高置信度与近教师蒸馏时的微小梯度，并消除所测任务中的 Slingshot 尖峰和学生漂移。
Sorting
Transformers Learn Two Competing Sorting Algorithms, and Only One Length-Generalizes
同一两层单头 Transformer 会因初始化学到不同排序路径；小间隔分工与查询侧提示使两阶段路径更能长度泛化，而最小值任务和多头模型改变这一关系。
ContextParamEq
Equivalence of Context and Parameter Updates in Modern Transformer Blocks
在输入与输出可控及非零条件下，上下文对当前查询的效应可逐层表示为秩一矩阵和输出端补丁；Gemma低精度计算需要稳定构造。
Cortex
Cortex: Consolidating Context into Parametric Memory
Cortex 用前瞻性查询和有上下文教师蒸馏，将经验写入可合并的 FFN 更新；50 次连续事实编辑恢复 88.9% 的上下文增益并保留 99.8% 的所测非目标表现。
RepGeometry
Tracing the Representation Geometry of Language Models from Pretraining to Post-training
论文用协方差谱揭示预训练的塌缩、扩张与压缩，并比较 SFT、DPO 和 RLVR 的几何与行为变化。
LoGRA
LoGRA: Scaling LLM Reinforcement Learning with Low-Rank Gradient Sketches
LoGRA 直接累计低秩梯度并用预测 KL 控制步长，使 7B 强化学习平均训练显存降低 45.7%，且在八张 H100 上训练密集 Adam 无法容纳的 27B 模型。
EndOfToken
Breaking the Token Ceiling: Distilling Smaller, Stronger Byte Models
EOT 用显式 token 边界精确转换教师分布；字节学生后期改善更快，4.0 个百分点的领先属于缩放律渐近外推，需结合验证集敏感性与推理成本解读。
MemT
MemT-1.0: Towards Memory-Native Evolution
MemT-1.0 以稳定逐 token 写入和跨轮状态在参数化记忆基准领先，并降低长历史存储与延迟；精细召回仍落后于文本记忆。
SparDA
SparDA: Sparse Decoupled Attention for Efficient Long-Context LLM Inference
SparDA训练轻量Forecast提前一层选块，以紧凑索引器和常驻UVA预取重叠通信与计算，在两种8B模型上保持平均质量并提高长上下文吞吐。
SFDA
Semidirect Fourier Delta Attention: Phase-Controlled Delta Memory with Constructive Chunk-WY Kernels
SFDA 以相位旋转扩展 Delta 记忆并给出精确分块 WY 构造；计数实验显示外推边界，研读澄清实化秩与广义模板的适用范围。
MemoryMosaics
Memory Mosaics at scale
Memory Mosaics v2 以自适应核检索、门控 key 与三层记忆扩展至 9.9B，在常规能力接近时改善长文档问答和匿名标签上下文学习。
OAL
Not All Dimensions Are Equal: Outlier-Aware Attention Linearization with Grouped Quadratic Kernels
OAL 按 QK 维度贡献分组学习正值二次核，以精确 HD 递推改善预训练注意力转换；系数少但二阶状态成本仍高。
没有找到匹配论文，试试其他关键词或标签。