long-context
按标签浏览论文。
MemoryPathways
Balancing Memory Pathways: Analyzing and Improving Memory Utilization in Hybrid LMs
混合模型的普通 SFT 偏重注意力；递归辅助监督改善记忆利用和长上下文任务表现，按信息类型分工也有助于文本与隐式记忆协作。
GSA2
Gated Slot Attention-2: Two-Sided Associative Memory Correction in Linear Attention
GSA2 通过共享潜在槽组合 OJA2 的 key 侧修正与 Delta-2 的 value 侧修正，改善检索与长上下文平均表现，并承担双阶段训练开销。
KLA
Kaczmarz Linear Attention
KLA 用 key 能量归一化残差写入步长，保留 GDN 分块结构并改善预训练与长程关联召回；研读区分了消融取舍和解码计时疑点。
GraphKV
GraphKV: Breaking the Static Selection Paradigm with Graph-Based KV Cache Eviction
GraphKV 用高分源节点与相似邻居间的乘法衰减重排缓存，兼顾重要性与多样性，在小预算事实检索中收益更明显。
Orthros
Orthros: Phase-Aware Heterogeneous Attention for Efficient Transformers
Orthros 用局部基础流建立完整 KV、按需全局输出查询降低预填充成本，保留召回能力，但增加训练计算且长输出时收益减弱。
WavePrune
WavePrune: One period is often enough for RoPE
WavePrune 将各 RoPE 通道截断在首周期，改善多数测试模型的长上下文表现与预训练外推，并以分组内核加速推理；Llama 的远程高频检索是重要反例。
Transformer-FSQ
Transformer-FSQ: Discrete Latents for Extreme KV-Cache Compression
Transformer-FSQ以共享4-bit离散潜码压缩K/V缓存，在所测Qwen3模型的极端压缩RULER检索上保持领先，并以融合内核维持解码吞吐。
FG2-GDN
FG$^2$-GDN: Enhancing Long-Context Gated Delta Networks with Doubly Fine-Grained Control
FG²-GDN 以通道级写入率补足 KDA 的通道级遗忘，并以对称缩放保留并行结构；FG²-GDN+ 在 RULER 与 LongBench 聚合分数最佳。
ContextLength
Context Length Alone Hurts LLM Performance Despite Perfect Retrieval
长输入即使保留可逐字找回的证据，解题准确率仍会下降；空白与掩码控制支持长度相关退化，先检索再短提示可缓解部分任务。
SparseGDN
SparseGDN: Chunk Sparse in Linear Attention
SparseGDN结合块邻接Delta求解、动态循环事件选择和紧凑GPU执行，在保留约29%更新事件时加速长上下文GDN核心预填充。
RAM-Net
RAM-Net: Linear-Time Sequence Modeling with Sparsely Addressable State
RAM-Net 用乘积式稀疏地址读写固定槽位，提升长程细粒度检索并减少每步状态访问；困难长程与真实文档回忆仍受寻址限制。
NoteBank
History Replays Itself: Unleashing Long-Context Capability in Linear Attention
NoteBank 用查询未知时的稀疏文本存档与原生回放恢复冻结骨干的远距检索；自然任务收益需区分读出适配、状态重置及实际系统开销。
SSE
Scaling Linear Attention with Sparse State Expansion
SSE以共享参数的稀疏状态分区改善检索与记忆保留，混合版保持接近同流程Transformer的推理能力，收益需结合状态存储与活跃计算理解。
QED
The Query Knows What to Forget: A Second Erase Direction for Linear Attention
QED 在 GDN-2 擦除向量中加入 query 派生的正交修正，保持 rank-one 更新并改善长上下文检索；门控、投影及推理强度的作用随训练种子变化。
Palimpsa
Learning to Remember, Learn, and Forget in Attention-Based Models
Palimpsa 用逐状态精度调节记忆可塑性，并通过折扣旧证据保持适应能力；微调迁移改善召回与部分长上下文表现，但增加内核成本并带来任务取舍。
SMT
Pretraining Recurrent Networks without Recurrence
SMT通过并行教师的预测记忆标签训练非线性RNN单步更新，并用DMT校正滚动漂移，改善长程学习与串行计算效率。
SpectralShift
SpectralShift: Effective Context Window Extension of Gated DeltaNet via Spectral Reparameterization
以 α 投影的中心化收缩和学习率缩放调整 GDN 记忆时间尺度，分阶段 128K 扩窗的跨长度 RULER 均分提高 2.80 分。
CST
Learning Length-Extrapolatable Recurrent Models
CST 通过局部缩放反向状态信用改善循环模型的长度外推，在合成任务与小型语言模型中取得收益，但存在任务依赖与训练吞吐代价。
RetrievalAttention
RetrievalAttention: Accelerating Long-Context LLM Inference via Vector Retrieval
利用预填充查询构建注意力感知向量索引，从 CPU 动态检索少量 KV 并与 GPU 常驻缓存合并，在长上下文解码中降低检索和显存成本。
PoPE
Decoupling the "What" and "Where" With Polar Coordinate Positional Embeddings
PoPE 用非负内容幅值与位置相位解耦注意力匹配，在间接索引、序列建模和长上下文外推实验中优于 RoPE。
没有找到匹配论文，试试其他关键词或标签。