读过的论文,
随时接着读。
中文精读笔记、原文与汇报幻灯片。按主题找论文,沿着公式与图表深入阅读。
Attention-Temperature
Subquadratic Algorithms and Hardness for Attention with Any Temperature
固定维度下以局部多项式和半空间查询实现任意温度的次二次注意力,并给出条件下界;研读标注了 v1 的证明问题。
JitMem
Just-in-Time Memory: Learning to Curate Task-Adaptive Memory for LLM Agents
JitMem 保留原始轨迹,在当前任务已知时整理记忆,并以同任务奖励训练整理器;多个基准受益,但总成本和收益范围仍需区分。
MemPrism
MemPrism: Task-Conditioned Relational Memory Views for Long-Horizon Agents
MemPrism 按当前决策构建关系记忆视图,改善冻结任务模型的表现并减少输入 token;在线网页泛化与端到端成本仍待验证。
LightMem
Lightweight LLM Agent Memory with Small Language Models
LightMem 用小模型管理在线检索与写入、离线整合共享知识,在所测基准改善记忆质量与延迟,但实验协议和维护成本仍有边界。
VarRate
VarRate: Training-Free Variable-Rate KV Cache Compression for Long-Context LLMs
VarRate按注意力显著性分配每token低秩预算,显著优于统一秩并改善查询复用鲁棒性,但运行时显存收益仍依赖融合内核。
LoLA
LoLA: Low-Rank Linear Attention With Sparse Caching
LoLA 以自召回误差分配稀疏缓存与线性状态,显著改善等预算关联召回,但长文能力、预填充开销与缓存计数仍有边界。
LatentLLM
LatentLLM: Attention-Aware Joint Tensor Compression
LatentLLM 以平方根统计预条件、单位块分解和联合投影优化改善低秩压缩质量,但简单 VO 未见收益,实际推理加速仍待验证。
HOLA
A Hippocampus for Linear Attention: An Exact Memory for What the Recurrent State Forgets
HOLA 按残差写入幅度选择精确 KV,并分离读取归一化,改善困惑度与长距召回;固定缓存容量及主实验单种子限制结论。
KDN
Kalman Delta Networks: Uncertainty-aware Associative Memory
KDN 用可扫描的不确定性递推调整 Delta 写入,在受控预训练中改善纯递归模型质量和合成检索,收益受近似、任务及架构影响。
KVM
Key-Value Means: Transformers with Expandable Block-Recurrent Compressed Memory
KVM 以统一 softmax 读取近期窗口和可扩展压缩记忆,在容量、长检索和计算成本间取得可调折中,但收益依赖任务与规模。
OSDN
OSDN: Improving Delta Rule with Provable Online Preconditioning in Linear Attention
OSDN以在线对角预条件缩放写入key,改善340M受控召回;1.3B局部残差收缩更强,但未转化为重复召回提升。
PDN
Preconditioned DeltaNet: Curvature-aware Sequence Modeling for Linear Recurrences
以有界对角历史统计预条件 DeltaNet 写 key,保留分块效率并改善配对平均指标;精确等价与单步谱界的适用条件需区分。
EDA
Erase-then-Delta Attention: Decoupling Erase and Write Addresses in Delta-Rule Linear Attention
EDA 先沿独立地址清理记忆,再执行 delta 修正写入;混合模型平均分提升,但长上下文逐项优势与历史回忆均有边界。
MiTA
Mixture-of-Top-k Attention: Efficient Attention via Scalable Fast Weights
MiTA以少量landmark构建可复用top-k专家并联合全局压缩,在视觉与LRA中实现精度—成本取舍;研读核对了算法泛化等图文不一致。
TTT
Learning to (Learn at Test Time): RNNs with Expressive Hidden States
TTT 将隐藏状态设为小模型权重,以可学习的自监督任务更新序列记忆,并通过 mini-batch 与对偶形式改善长上下文建模和执行效率。
LaCT
Test-Time Training Done Right
LaCT用大块在线更新提高计算效率以扩展非线性记忆,并结合局部注意力处理图像、语言和视频;复杂检索仍落后全注意力。
MELT
Memory-Efficient Looped Transformer: Decoupling Compute from Memory in Looped Language Models
MELT 以门控记忆和两阶段迁移将四轮循环的 KV 缓存降至 Ouro 的四分之一,保留接近教师的性能;精读标注原文排名与显存算术差异。
LLA
Looped Latent Attention: Cross-Loop KV Compression for Looped Transformers
LLA以跨循环低秩轨迹压缩KV,on-policy蒸馏改善部分长生成;容量收益明确,但吞吐、评测协议和原文表述存在边界。
YOCO
You Only Cache Once: Decoder-Decoder Architectures for Language Models
YOCO通过双解码器共享一份全局KV缓存,保留全局注意力并显著降低长上下文预填充与显存成本。
DepthWeave-KV
DepthWeave-KV: Token-Adaptive Cross-Layer Residual Factorization for Long-Context KV Cache Compression
跨层共享低秩基结合 token 自适应残差与输出误差反馈压缩 KV;报告 8.3× 缩减,但实验配置缺失且消融存在冲突。
没有找到匹配论文,试试其他关键词或标签。