mechanistic-interpretability
按标签浏览论文。
ASI
Dimensional Collapse in Transformer Attention Outputs: A Challenge for Sparse Dictionary Learning
注意力输出的低有效秩与 SAE 死特征相关；ASI 对齐活跃子空间改善重建，百万特征下结合 SparseAdam 将死特征从约 87% 降至不足 1%。
Sorting
Transformers Learn Two Competing Sorting Algorithms, and Only One Length-Generalizes
同一两层单头 Transformer 会因初始化学到不同排序路径；小间隔分工与查询侧提示使两阶段路径更能长度泛化，而最小值任务和多头模型改变这一关系。
ContextParamEq
Equivalence of Context and Parameter Updates in Modern Transformer Blocks
在输入与输出可控及非零条件下，上下文对当前查询的效应可逐层表示为秩一矩阵和输出端补丁；Gemma低精度计算需要稳定构造。
DepthBench
DepthBench: Measuring How Residual Connections Enable More Computational Depth
DepthBench揭示残差设计改变宽深分配收益：Full AttnRes与HC改善深度利用，但存在规模、最佳深度与系统成本的取舍。
LoopedReuse
Learning to Compute Is Not Learning to Retain or Reuse in Looped Transformers
以精确反事实替换与状态冻结区分循环模型的计算、答案保持和状态复用，揭示答案出现后仍需若干轮更新才能支持后续计算。
LinearAttn-Memory
How Linear Attention Remembers
因果干预揭示循环状态通过集中读写支持选择性召回，负载与写入重叠引发干扰，混合模型的直接记忆载体转向 KV 缓存。
没有找到匹配论文，试试其他关键词或标签。