Theory & Analysis
按研读更新时间浏览本主题的论文；一篇论文可属于多个主题。
ASI
Dimensional Collapse in Transformer Attention Outputs: A Challenge for Sparse Dictionary Learning
注意力输出的低有效秩与 SAE 死特征相关；ASI 对齐活跃子空间改善重建，百万特征下结合 SparseAdam 将死特征从约 87% 降至不足 1%。
DeltaFormer
Understanding Transformer from the Perspective of Associative Memory
以关联记忆的检索信噪比与残差写入统一分析 Attention 和 FFN，并以 DeltaFormer 的状态追踪构造及合成实验展示核与更新规则的作用。
SpectralShift
SpectralShift: Effective Context Window Extension of Gated DeltaNet via Spectral Reparameterization
以 α 投影的中心化收缩和学习率缩放调整 GDN 记忆时间尺度，分阶段 128K 扩窗的跨长度 RULER 均分提高 2.80 分。
Sorting
Transformers Learn Two Competing Sorting Algorithms, and Only One Length-Generalizes
同一两层单头 Transformer 会因初始化学到不同排序路径；小间隔分工与查询侧提示使两阶段路径更能长度泛化，而最小值任务和多头模型改变这一关系。
ContextParamEq
Equivalence of Context and Parameter Updates in Modern Transformer Blocks
在输入与输出可控及非零条件下，上下文对当前查询的效应可逐层表示为秩一矩阵和输出端补丁；Gemma低精度计算需要稳定构造。
RepGeometry
Tracing the Representation Geometry of Language Models from Pretraining to Post-training
论文用协方差谱揭示预训练的塌缩、扩张与压缩，并比较 SFT、DPO 和 RLVR 的几何与行为变化。
EndOfToken
Breaking the Token Ceiling: Distilling Smaller, Stronger Byte Models
EOT 用显式 token 边界精确转换教师分布；字节学生后期改善更快，4.0 个百分点的领先属于缩放律渐近外推，需结合验证集敏感性与推理成本解读。
SFDA
Semidirect Fourier Delta Attention: Phase-Controlled Delta Memory with Constructive Chunk-WY Kernels
SFDA 以相位旋转扩展 Delta 记忆并给出精确分块 WY 构造；计数实验显示外推边界，研读澄清实化秩与广义模板的适用范围。
DepthBench
DepthBench: Measuring How Residual Connections Enable More Computational Depth
DepthBench揭示残差设计改变宽深分配收益：Full AttnRes与HC改善深度利用，但存在规模、最佳深度与系统成本的取舍。
Transformer-Topology
The Topological Trouble With Transformers
从计算图解释固定深度中的状态上移与浅层可达性限制，按循环轴和更新粒度分类，并讨论增强状态更新与高效训练的取舍。
LoopedReuse
Learning to Compute Is Not Learning to Retain or Reuse in Looped Transformers
以精确反事实替换与状态冻结区分循环模型的计算、答案保持和状态复用，揭示答案出现后仍需若干轮更新才能支持后续计算。
Hybrid-Hierarchy
A Provable Expressiveness Hierarchy in Hybrid Linear-Full Attention
以通信复杂度分析混合注意力的顺序复合下界，区分全注意力访问轮数与循环状态容量，并标注 v1 的证明及参数范围问题。
LinearAttn-Memory
How Linear Attention Remembers
因果干预揭示循环状态通过集中读写支持选择性召回，负载与写入重叠引发干扰，混合模型的直接记忆载体转向 KV 缓存。
CKDA
Complex KDA: Understanding and Enhancing the Expressivity of Kimi Delta Attention
CKDA 以有符号通道门与扩展更新率实现稳定旋转，增强状态追踪与周期外推，语言建模与匹配 KDA 基本持平。
Attention-Temperature
Subquadratic Algorithms and Hardness for Attention with Any Temperature
固定维度下以局部多项式和半空间查询实现任意温度的次二次注意力，并给出条件下界；研读标注了 v1 的证明问题。
CKA
Similarity of Neural Network Representations Revisited
CKA 通过比较中心化样本关系并保留谱尺度，识别神经网络层对应，揭示过强线性不变性的局限。
Parcae
Parcae: Scaling Laws For Stable Looped Language Models
Parcae 通过约束循环状态传递与改进深度采样稳定训练，并发现循环与数据协同增长、推理收益趋于饱和的经验缩放律。
没有找到匹配论文，试试其他关键词或标签。