Fast Weights
按研读更新时间浏览本主题的论文;一篇论文可属于多个主题。
ContextParamEq
Equivalence of Context and Parameter Updates in Modern Transformer Blocks
在输入与输出可控及非零条件下,上下文对当前查询的效应可逐层表示为秩一矩阵和输出端补丁;Gemma低精度计算需要稳定构造。
MesaNet
MesaNet: Sequence Modeling by Locally Optimal Test-Time Training
MesaNet 用可分块并行的共轭梯度求解累计回归,改善固定状态的上下文学习与召回,并揭示平均困惑度与长距离信息利用之间的差异。
SRWM
A Modern Self-Referential Weight Matrix That Learns to Modify Itself
SRWM 用同一矩阵生成并执行自身的 delta 更新,使预测与更新控制器共同适应输入,在少样本与多任务学习中验证了运行时自修改的实用性。
NL
Nested Learning: The Illusion of Deep Learning Architectures
NL 将架构和优化器统一为多时间尺度的联想记忆,Hope 结合自指更新与 CMS 改善持续学习,但精确召回与计算成本仍有取舍。
Metis
Metis: Memory Foundation Model
Metis以固定状态和可学习读写实现无在线梯度的跨轮次记忆,节省存储与查询成本,但长期容量、遗忘和指令遵循仍受限。
MoNe
MoNe: Modular Neural Memory for Efficient Long Context Inference
MoNe以逐层局部快权重更新为冻结Transformer写入长上下文,在受控任务外推至128K并降低显存与FLOPs,但依赖离线任务训练。
LLM-Memory
Memory for Large Language Models
以表示、更新动态和持续性三轴统一模型级记忆,细分写入与管理规则,并分析混合架构的召回、干扰和资源取舍。
OSDN
OSDN: Improving Delta Rule with Provable Online Preconditioning in Linear Attention
OSDN以在线对角预条件缩放写入key,改善340M受控召回;1.3B局部残差收缩更强,但未转化为重复召回提升。
MiTA
Mixture-of-Top-k Attention: Efficient Attention via Scalable Fast Weights
MiTA以少量landmark构建可复用top-k专家并联合全局压缩,在视觉与LRA中实现精度—成本取舍;研读核对了算法泛化等图文不一致。
TTT
Learning to (Learn at Test Time): RNNs with Expressive Hidden States
TTT 将隐藏状态设为小模型权重,以可学习的自监督任务更新序列记忆,并通过 mini-batch 与对偶形式改善长上下文建模和执行效率。
LaCT
Test-Time Training Done Right
LaCT用大块在线更新提高计算效率以扩展非线性记忆,并结合局部注意力处理图像、语言和视频;复杂检索仍落后全注意力。
Proteus
Proteus: Incremental Memory Activation for Long-Context Sequence Modeling
Proteus 在固定记忆预算下渐进开放读写容量,多骨干平均指标改善,较长上下文的困难检索收益更明显。
FwPKM
Fast-weight Product Key Memory
FwPKM以稀疏在线键值更新补充长程情景记忆,重读改善检索,但吞吐与跨域记忆保留仍有限。
Lattice
Lattice: Learning to Efficiently Compress the Memory
Lattice 通过逐槽正交更新与归一化提高固定状态的记忆效率,分块近似实现训练并行,但质量和吞吐量收益需按配置分别解读。
没有找到匹配论文,试试其他关键词或标签。