Long Context
跨研究方向浏览，也可以继续按关键词和标签筛选。
ParisKV
ParisKV: Fast and Drift-Robust KV-Cache Retrieval for Long-Context LLMs
ParisKV以固定球面方向中心、GPU碰撞筛选和4-bit校正重排稳定检索历史KV，再用UVA按需取回，在长生成与百万token推理中兼顾准确率和解码速度。
DLite
DLite: History-free Speculative Decoding for Agentic AI
DLite 复用目标模型隐藏状态，让草稿器只做局部预测并免维护历史 KV；在长上下文代理任务上显著提高接受长度与解码速度。
OpenAttention
OpenAttention: One Percent Is Enough with Tail Proxies
用查询几何分簇和按误差分配的长尾代理，在 RULER-32K HARD 上以 1% 读取保留约 99% 的密集注意力准确率。
CPLM
Copy-Paste Language Models
CPLM在常规语言模型头之外加入可训练的上下文复制指针，通过额外梯度路径改善预训练，并使滑窗模型以较小缓存获得长距检索能力。
MemT
MemT-1.0: Towards Memory-Native Evolution
MemT-1.0 以稳定逐 token 写入和跨轮状态在参数化记忆基准领先，并降低长历史存储与延迟；精细召回仍落后于文本记忆。
KronLSTM
Kronecker Delta Rule for Long Context Linear Attention
KronLSTM 用键值双重定向的标量误差修正矩阵记忆，在相同预训练预算下提升平均语言与自然文本检索表现，但重复噪声检索和32k绝对准确率仍有限。
LightTransfer
LightTransfer: Your Long-Context LLM is Secretly a Hybrid Model with Effortless Adaptation
LightTransfer 根据层级注意力局部性将部分全注意力转换为流式访问，通过在线缓存释放改善吞吐；长推理需训练适配，研读澄清了分数降幅、实验预算及图文矛盾。
MesaNet
MesaNet: Sequence Modeling by Locally Optimal Test-Time Training
MesaNet 用可分块并行的共轭梯度求解累计回归，改善固定状态的上下文学习与召回，并揭示平均困惑度与长距离信息利用之间的差异。
SparDA
SparDA: Sparse Decoupled Attention for Efficient Long-Context LLM Inference
SparDA训练轻量Forecast提前一层选块，以紧凑索引器和常驻UVA预取重叠通信与计算，在两种8B模型上保持平均质量并提高长上下文吞吐。
MDN
MDN: Parallelizing Stepwise Momentum for Delta Linear Attention
MDN 以求和换序和下三角求解并行化逐步动量，改善线性模型检索，但增加双状态与训练成本；研读厘清 v1 的公式和稳定性条件。
Mamba3-Oscillation
Understanding Mamba-3 Through Oscillatory Dynamics
将 Mamba-3 的衰减与旋转解释为欠阻尼动力学；受控训练和相位干预支持其状态追踪、长上下文及信息累积收益，并区分训练收益与消融损害。
MemoryMosaics
Memory Mosaics at scale
Memory Mosaics v2 以自适应核检索、门控 key 与三层记忆扩展至 9.9B，在常规能力接近时改善长文档问答和匿名标签上下文学习。
VHA
Virtual Head Attention
VHA以查询前混合和低秩输出混合训练两KV头GQA，在压缩缓存下改善质量，并可将新增模块合并进标准投影。
Samba
Samba: Simple Hybrid State Space Models for Efficient Unlimited Context Language Modeling
Samba交替组合Mamba、SWA与MLP，改善匹配训练下的模型质量与长序列效率；百万长度预测外推与任务微调后的精确召回需分别理解。
HypeNet
Hybrid Linear Attention Done Right: Efficient Distillation and Effective Architectures for Extremely Long Contexts
HALO以约2.3B tokens转换Qwen3，HypeNet结合循环RoPE、全局NoPE与动态缩放改善长检索和效率；研读标注v1数值与配置差异。
NAtS-L
Neural Attention Search Linear: Towards Adaptive Token-Level Hybrid Attention Models
NAtS-L按64-token块选择显式KV或GDN状态，并以query条件权重融合；Hybrid提升检索和长输入效率，但仍保留未受硬预算约束的softmax项。
RACE
RACE Attention: A Strictly Linear-Time Attention Layer for Training on Outrageously Large Contexts
RACE 用可微软哈希桶聚合质量与值，在固定桶预算下实现线性注意力；任务效果与单层极长序列扩展分别验证，归一化证明存在偏差漏项。
REMORY
REMORY: Learning Residual Memory for Context Compaction
REMORY 以摘要条件软记忆补偿上下文压缩，改善来源归属与智能体决策；生成费用下降尚未计入记忆网络计算。
LAVO
Linear Attention via Orthogonal Memory
LAVO 用正交平均投影构造固定记忆，结合局部注意力实现线性扩展；长上下文困惑度稳定，但平均压缩限制历史细节与训练长度内精度。
PaTH
PaTH Attention: Position Encoding via Accumulating Householder Transformations
PaTH 将内容相关的 Householder 路径乘积引入 softmax attention，增强状态追踪；与 FoX 结合改善长上下文检索，转换收益依赖训练协议。
没有找到匹配论文，试试其他关键词或标签。