读过的论文，
随时接着读。
中文精读笔记、原文与汇报幻灯片。按主题找论文，沿着公式与图表深入阅读。
FusedKV
Reconstructing KV Caches with Cross-layer Fusion For Enhanced Transformers
通过底层与中层 K/V 融合将缓存减半并改善语言建模；完整融合存在解码访存开销，长上下文质量仍有折中。
CKA
Similarity of Neural Network Representations Revisited
CKA 通过比较中心化样本关系并保留谱尺度，识别神经网络层对应，揭示过强线性不变性的局限。
SAS
SAS: Simple Attention Sparsification via End-to-End Optimization of Context Ranking
SAS 通过训练期归一化 log-gate 用语言模型损失学习块排序，改善低预算推理，但超长检索与路由成本仍有限制。
DA
Language Models Can Control Their Own Attention
DA 让模型用文本声明动态注意力范围，在两个大模型上减少 52.0%/31.1% 的累计解码读取量；时间收益仍为模型估算，且存在任务与协议失败边界。
SpargeAttn
SpargeAttention: Accurate and Training-free Sparse Attention Accelerating Any Model Inference
通过选择性块压缩与在线 softmax 二次筛选，结合量化加速跨模态注意力，并保护难以压缩的异常块。
MoDA
Mixture-of-Depths Attention
MoDA 用统一 softmax 联合检索序列与同位置深度 KV，在所测模型中改善质量，并以融合内核降低长序列下的相对开销。
BoV
Do Value Vectors in Deep Layers Need Context from the Residual Stream?
BoV 在最后三分之一层以逐层 token 查表替代 Value 投影，在所测规模改善平均表现，但参数存储与缓存收益取决于负载。
CL-Composition
Continual Learning Mechanisms Compose for Long-Horizon Memorization
生成式回放与合并LoRA呈现显著协同，延长100任务下的记忆寿命，但仍无法避免旧记忆与通用能力退化。
Proteus
Proteus: Incremental Memory Activation for Long-Context Sequence Modeling
Proteus 在固定记忆预算下渐进开放读写容量，多骨干平均指标改善，较长上下文的困难检索收益更明显。
Parcae
Parcae: Scaling Laws For Stable Looped Language Models
Parcae 通过约束循环状态传递与改进深度采样稳定训练，并发现循环与数据协同增长、推理收益趋于饱和的经验缩放律。
CCQ
Don't Read Everything: A Curvature-Conditioned Query for Linear Attention
CCQ 用历史 key 协方差收缩 query，改善多项检索结果；推理关闭修正仍保留多数收益，机制与解码成本需分开评估。
FwPKM
Fast-weight Product Key Memory
FwPKM以稀疏在线键值更新补充长程情景记忆，重读改善检索，但吞吐与跨域记忆保留仍有限。
BayesianLayer
Memory by Design: Probabilistic Sequence Layers
Bayesian Layer 用稠密协方差调整写入方向与强度，改善关联召回，但增加状态成本并存在语言建模困惑度取舍。
Lattice
Lattice: Learning to Efficiently Compress the Memory
Lattice 通过逐槽正交更新与归一化提高固定状态的记忆效率，分块近似实现训练并行，但质量和吞吐量收益需按配置分别解读。
TIDE
TIDE: Every Layer Knows the Token Beneath the Context
TIDE 用上下文路由逐层注入 token 身份记忆，改善低频词损失与平均任务表现，同时增加词表存储和解码开销。
EG-MLA
EG-MLA: Embedding-Gated Multi-head Latent Attention for Scalable and Efficient LLMs
EG-MLA 用 token 嵌入门控与归一化换取更小 KV 状态，Base 缓存减少约 60% 且平均质量保持，但额外参数、解码开销与缩放结果需一并衡量。
ResFormer
Value Residual Learning
ResFormer 通过首层 value 残差改善深层信息利用；SVFormer 共享 value 节省 KV 缓存，质量收益依赖训练长度与优化条件。
MoM
MoM: Linear Sequence Modeling with Mixture-of-Memories
MoM 用稀疏路由隔离多个递归记忆并改善召回，等激活参数比较仍有收益，但总状态成本和部分评测口径需区分。
MoD
Mixture-of-Depths: Dynamically allocating compute in transformer-based language models
MoD 在固定训练计算预算下学习 token 级深度路由，交替完整层与低容量层改善损失和单次计算量的折中，并以因果预测器支持生成。
SDM
Sparse Delta Memory: Scaling the State of Linear RNNs through Sparsity
SDM 用稀疏读写扩展递归记忆并改善长上下文检索，学习初始状态进一步增益，但存储与实际速度仍是代价。
没有找到匹配论文，试试其他关键词或标签。