long-context
按标签浏览论文。
LightMem
Lightweight LLM Agent Memory with Small Language Models
LightMem 用小模型管理在线检索与写入、离线整合共享知识,在所测基准改善记忆质量与延迟,但实验协议和维护成本仍有边界。
VarRate
VarRate: Training-Free Variable-Rate KV Cache Compression for Long-Context LLMs
VarRate按注意力显著性分配每token低秩预算,显著优于统一秩并改善查询复用鲁棒性,但运行时显存收益仍依赖融合内核。
LoLA
LoLA: Low-Rank Linear Attention With Sparse Caching
LoLA 以自召回误差分配稀疏缓存与线性状态,显著改善等预算关联召回,但长文能力、预填充开销与缓存计数仍有边界。
HOLA
A Hippocampus for Linear Attention: An Exact Memory for What the Recurrent State Forgets
HOLA 按残差写入幅度选择精确 KV,并分离读取归一化,改善困惑度与长距召回;固定缓存容量及主实验单种子限制结论。
KDN
Kalman Delta Networks: Uncertainty-aware Associative Memory
KDN 用可扫描的不确定性递推调整 Delta 写入,在受控预训练中改善纯递归模型质量和合成检索,收益受近似、任务及架构影响。
KVM
Key-Value Means: Transformers with Expandable Block-Recurrent Compressed Memory
KVM 以统一 softmax 读取近期窗口和可扩展压缩记忆,在容量、长检索和计算成本间取得可调折中,但收益依赖任务与规模。
EDA
Erase-then-Delta Attention: Decoupling Erase and Write Addresses in Delta-Rule Linear Attention
EDA 先沿独立地址清理记忆,再执行 delta 修正写入;混合模型平均分提升,但长上下文逐项优势与历史回忆均有边界。
TTT
Learning to (Learn at Test Time): RNNs with Expressive Hidden States
TTT 将隐藏状态设为小模型权重,以可学习的自监督任务更新序列记忆,并通过 mini-batch 与对偶形式改善长上下文建模和执行效率。
LaCT
Test-Time Training Done Right
LaCT用大块在线更新提高计算效率以扩展非线性记忆,并结合局部注意力处理图像、语言和视频;复杂检索仍落后全注意力。
LLA
Looped Latent Attention: Cross-Loop KV Compression for Looped Transformers
LLA以跨循环低秩轨迹压缩KV,on-policy蒸馏改善部分长生成;容量收益明确,但吞吐、评测协议和原文表述存在边界。
YOCO
You Only Cache Once: Decoder-Decoder Architectures for Language Models
YOCO通过双解码器共享一份全局KV缓存,保留全局注意力并显著降低长上下文预填充与显存成本。
DepthWeave-KV
DepthWeave-KV: Token-Adaptive Cross-Layer Residual Factorization for Long-Context KV Cache Compression
跨层共享低秩基结合 token 自适应残差与输出误差反馈压缩 KV;报告 8.3× 缩减,但实验配置缺失且消融存在冲突。
SAS
SAS: Simple Attention Sparsification via End-to-End Optimization of Context Ranking
SAS 通过训练期归一化 log-gate 用语言模型损失学习块排序,改善低预算推理,但超长检索与路由成本仍有限制。
DA
Language Models Can Control Their Own Attention
DA 让模型用文本声明动态注意力范围,在两个大模型上减少 52.0%/31.1% 的累计解码读取量;时间收益仍为模型估算,且存在任务与协议失败边界。
Proteus
Proteus: Incremental Memory Activation for Long-Context Sequence Modeling
Proteus 在固定记忆预算下渐进开放读写容量,多骨干平均指标改善,较长上下文的困难检索收益更明显。
FwPKM
Fast-weight Product Key Memory
FwPKM以稀疏在线键值更新补充长程情景记忆,重读改善检索,但吞吐与跨域记忆保留仍有限。
BayesianLayer
Memory by Design: Probabilistic Sequence Layers
Bayesian Layer 用稠密协方差调整写入方向与强度,改善关联召回,但增加状态成本并存在语言建模困惑度取舍。
Lattice
Lattice: Learning to Efficiently Compress the Memory
Lattice 通过逐槽正交更新与归一化提高固定状态的记忆效率,分块近似实现训练并行,但质量和吞吐量收益需按配置分别解读。
MoM
MoM: Linear Sequence Modeling with Mixture-of-Memories
MoM 用稀疏路由隔离多个递归记忆并改善召回,等激活参数比较仍有收益,但总状态成本和部分评测口径需区分。
SDM
Sparse Delta Memory: Scaling the State of Linear RNNs through Sparsity
SDM 用稀疏读写扩展递归记忆并改善长上下文检索,学习初始状态进一步增益,但存储与实际速度仍是代价。
没有找到匹配论文,试试其他关键词或标签。