sparse-autoencoders

ASI

Dimensional Collapse in Transformer Attention Outputs: A Challenge for Sparse Dictionary Learning

注意力输出的低有效秩与 SAE 死特征相关；ASI 对齐活跃子空间改善重建，百万特征下结合 SparseAdam 将死特征从约 87% 降至不足 1%。