读过的论文，
随时接着读。
中文精读笔记、原文与汇报幻灯片。按主题找论文，沿着公式与图表深入阅读。
OAL
Not All Dimensions Are Equal: Outlier-Aware Attention Linearization with Grouped Quadratic Kernels
OAL 按 QK 维度贡献分组学习正值二次核，以精确 HD 递推改善预训练注意力转换；系数少但二阶状态成本仍高。
DepthBench
DepthBench: Measuring How Residual Connections Enable More Computational Depth
DepthBench揭示残差设计改变宽深分配收益：Full AttnRes与HC改善深度利用，但存在规模、最佳深度与系统成本的取舍。
DoSA
DoSA: Dots Sparse Attention
DoSA 用带符号多头评分的保守上界安全剪枝，结合完整重评分与稀疏写回加速长上下文 Indexer；精确性依赖数值覆盖、候选恢复与并列规则。
VHA
Virtual Head Attention
VHA以查询前混合和低秩输出混合训练两KV头GQA，在压缩缓存下改善质量，并可将新增模块合并进标准投影。
Transformer-Topology
The Topological Trouble With Transformers
从计算图解释固定深度中的状态上移与浅层可达性限制，按循环轴和更新粒度分类，并讨论增强状态更新与高效训练的取舍。
Samba
Samba: Simple Hybrid State Space Models for Efficient Unlimited Context Language Modeling
Samba交替组合Mamba、SWA与MLP，改善匹配训练下的模型质量与长序列效率；百万长度预测外推与任务微调后的精确召回需分别理解。
SRWM
A Modern Self-Referential Weight Matrix That Learns to Modify Itself
SRWM 用同一矩阵生成并执行自身的 delta 更新，使预测与更新控制器共同适应输入，在少样本与多任务学习中验证了运行时自修改的实用性。
LPT
The Surprising Effectiveness of Shared Memory in Looped Transformers
LPT让后续循环共享首轮KV并保留短窗口，在减少缓存的同时改善质量；共享梯度路径支持记忆学习，计算与延迟仍随循环增加。
HYPIC
HYPIC: Accelerating Hybrid-Attention LLM Serving with Position-Independent Caching
HYPIC 以段级转移算子组合循环状态，结合边界重算与冷段并行加速混合注意力服务；需区分单层精确组合与深层近似复用。
Tail-Replay
Tail-Replay: Escaping the Curse of Linear Attention in Prefix Caching for Hybrid LLMs
Tail-Replay 缓存精确 FA KV 与输出隐藏向量，以独立短尾重放近似恢复循环状态，实现灵活前缀复用；质量代价依赖任务，RULER 汇总存在已标注冲突。
BinaryPC
Training-Free Hashing-Based Attention via Binary Principal Components
BinaryPC 以 64 位二值重构和高误差 token 保护实现免训练稀疏检索，改善长上下文解码效率，同时保留完整 KV 缓存。
LRKV
Low-Rank Key Value Attention
LRKV 用共享稠密 K/V 与每头低秩残差压缩缓存并改善报告的语言建模损失，但完整 RoPE 兼容性与部分缓存、消融数据仍有关键矛盾。
LoopedReuse
Learning to Compute Is Not Learning to Retain or Reuse in Looped Transformers
以精确反事实替换与状态冻结区分循环模型的计算、答案保持和状态复用，揭示答案出现后仍需若干轮更新才能支持后续计算。
LoopLM-Conditioning
What Makes Recurrence Effective in Looped Language Models?
揭示循环深度的知识与推理取舍，并以历史状态差分和时间门控改善深度外推；收益依赖架构、参数化与推理预算。
ELR
One Model to Loop Them All: Elastic Latent Recurrence for Language Models
ELR以门控更新、同次更新混合深度与循环条件调制保留单循环平均能力，并用额外循环提升质量；路由和KV复用各有成本与任务取舍。
HypeNet
Hybrid Linear Attention Done Right: Efficient Distillation and Effective Architectures for Extremely Long Contexts
HALO以约2.3B tokens转换Qwen3，HypeNet结合循环RoPE、全局NoPE与动态缩放改善长检索和效率；研读标注v1数值与配置差异。
Hybrid-Hierarchy
A Provable Expressiveness Hierarchy in Hybrid Linear-Full Attention
以通信复杂度分析混合注意力的顺序复合下界，区分全注意力访问轮数与循环状态容量，并标注 v1 的证明及参数范围问题。
NAtS-L
Neural Attention Search Linear: Towards Adaptive Token-Level Hybrid Attention Models
NAtS-L按64-token块选择显式KV或GDN状态，并以query条件权重融合；Hybrid提升检索和长输入效率，但仍保留未受硬预算约束的softmax项。
HedgeCATs
Untangling Component Imbalance in Hybrid Linear Attention Conversion Methods
通过组件消融揭示混合线性注意力转换中对滑窗分支的过度依赖，并用推理时混合、HedgeCATs 与 SSD 保留线性分支的有效贡献。
RACE
RACE Attention: A Strictly Linear-Time Attention Layer for Training on Outrageously Large Contexts
RACE 用可微软哈希桶聚合质量与值，在固定桶预算下实现线性注意力；任务效果与单层极长序列扩展分别验证，归一化证明存在偏差漏项。
没有找到匹配论文，试试其他关键词或标签。