读过的论文，
随时接着读。
中文精读笔记、原文与汇报幻灯片。按主题找论文，沿着公式与图表深入阅读。
RLA
Enhancing Linear Attention with Residual Learning
RLA/RDN 用第二个递推状态拟合历史预测残差，在保持线性扩展的同时改善建模与召回，并增加状态容量和计算开销。
MemoryPathways
Balancing Memory Pathways: Analyzing and Improving Memory Utilization in Hybrid LMs
混合模型的普通 SFT 偏重注意力；递归辅助监督改善记忆利用和长上下文任务表现，按信息类型分工也有助于文本与隐式记忆协作。
DDN
Dual DeltaNet: Value-Side Memory Reorganization for Linear Attention
DDN 在 KDA 后加入值侧地址响应纠错，以双侧 WY 和秩 2 更新保持固定状态，显著改善 1B NIAH 平均召回，同时增加推理延迟。
GSA2
Gated Slot Attention-2: Two-Sided Associative Memory Correction in Linear Attention
GSA2 通过共享潜在槽组合 OJA2 的 key 侧修正与 Delta-2 的 value 侧修正，改善检索与长上下文平均表现，并承担双阶段训练开销。
KLA
Kaczmarz Linear Attention
KLA 用 key 能量归一化残差写入步长，保留 GDN 分块结构并改善预训练与长程关联召回；研读区分了消融取舍和解码计时疑点。
TokenRobustness
Language Models are not Equally Robust to Non-Canonical Tokenization across Languages
同文不同合法切分会造成语言与任务相关的性能退化；英语分桶多切分训练提高跨语言 ARC 准确率，但未消除相对分词差距。
zip2zip
zip2zip: Inference-Time Adaptive Tokenization via Online Compression
zip2zip 通过在线字典、动态向量与压缩语言建模减少输入输出 token，但数值推理与部分翻译质量存在显著代价。
GraphKV
GraphKV: Breaking the Static Selection Paradigm with Graph-Based KV Cache Eviction
GraphKV 用高分源节点与相似邻居间的乘法衰减重排缓存，兼顾重要性与多样性，在小预算事实检索中收益更明显。
Orthros
Orthros: Phase-Aware Heterogeneous Attention for Efficient Transformers
Orthros 用局部基础流建立完整 KV、按需全局输出查询降低预填充成本，保留召回能力，但增加训练计算且长输出时收益减弱。
SU
Spectral Unlearning: Transformer Structure-Preserving Updates for Language Models
谱遗忘以矩阵几何改造现有遗忘目标的更新方向，改善遗忘、隐私与效用折中，但收益依赖配置并增加计算成本。
LexFrame
Lexical Reference Frames: Interpreting LM Residual Streams in Native Semantics
LexFrame 通过剩余网络和有限阶前缀交互读取隐藏状态，以系数差分改善归因、用词汇基实现更具选择性的干预。
ASI
Dimensional Collapse in Transformer Attention Outputs: A Challenge for Sparse Dictionary Learning
注意力输出的低有效秩与 SAE 死特征相关；ASI 对齐活跃子空间改善重建，百万特征下结合 SparseAdam 将死特征从约 87% 降至不足 1%。
WavePrune
WavePrune: One period is often enough for RoPE
WavePrune 将各 RoPE 通道截断在首周期，改善多数测试模型的长上下文表现与预训练外推，并以分组内核加速推理；Llama 的远程高频检索是重要反例。
MLPMemory
MLP Memory: A Retriever-Pretrained Memory for Large Language Models
把 kNN 检索词分布蒸馏进独立 MLP，以概率融合增强语言模型知识利用并降低在线检索延迟。
Transformer-FSQ
Transformer-FSQ: Discrete Latents for Extreme KV-Cache Compression
Transformer-FSQ以共享4-bit离散潜码压缩K/V缓存，在所测Qwen3模型的极端压缩RULER检索上保持领先，并以融合内核维持解码吞吐。
MemGPT
MemGPT: Towards LLMs as Operating Systems
MemGPT 以虚拟内存式分层存储、队列驱逐和心跳函数调用管理固定窗口上下文；在历史回忆、文档问答与嵌套检索中取得提升，效果取决于底座模型持续调用工具的能力。
SAF
When Can Attention Heads Be Statically Defined?
SAF 用低方差注意力头的概率均值构造紧凑固定模式，降低更新开销而保留值混合，但收益受替换率和工作负载影响。
ContinuumAttention
Continuum Attention
CA 将相邻 key/value 线性插值并用闭式指数矩精确积分，在匹配温度的小模型和 101M 多语言评测中改善 NLL/BPB，但仍保持二次复杂度且跨域表现有差异。
LiSA
LiSA: Linear Stochastic Attention for Long-Range Visual Modeling
LiSA 用低秩随机游走为线性注意力加入多跳交互，并以局部窗口保留细节；在多项视觉基准上提高准确率，但超长序列的延迟仍高于 FLatten。
Muir
Muir: Linear Attention with Sensitivity-Allocated Gating and Matched-Filter Readout
Muir reallocates low-rank gate capacity by state sensitivity, adds matched-filter readout to reduce interference and write-time erasure, and uses a boundary-pivoted TPU chunk kernel; experiments show strong language modeling and multi-hop retrieval with static/dynamic readout trade-offs.
没有找到匹配论文，试试其他关键词或标签。