RESEARCH LIBRARY
fast-weights
按标签浏览论文。
共 6 篇论文 · 按研读更新时间排序
ContextParamEq
Equivalence of Context and Parameter Updates in Modern Transformer Blocks
在输入与输出可控及非零条件下，上下文对当前查询的效应可逐层表示为秩一矩阵和输出端补丁；Gemma低精度计算需要稳定构造。
SRWM
A Modern Self-Referential Weight Matrix That Learns to Modify Itself
SRWM 用同一矩阵生成并执行自身的 delta 更新，使预测与更新控制器共同适应输入，在少样本与多任务学习中验证了运行时自修改的实用性。
Metis
Metis: Memory Foundation Model
Metis以固定状态和可学习读写实现无在线梯度的跨轮次记忆，节省存储与查询成本，但长期容量、遗忘和指令遵循仍受限。
MiTA
Mixture-of-Top-k Attention: Efficient Attention via Scalable Fast Weights
MiTA以少量landmark构建可复用top-k专家并联合全局压缩，在视觉与LRA中实现精度—成本取舍；研读核对了算法泛化等图文不一致。
LaCT
Test-Time Training Done Right
LaCT用大块在线更新提高计算效率以扩展非线性记忆，并结合局部注意力处理图像、语言和视频；复杂检索仍落后全注意力。
FwPKM
Fast-weight Product Key Memory
FwPKM以稀疏在线键值更新补充长程情景记忆，重读改善检索，但吞吐与跨域记忆保留仍有限。
没有找到匹配论文，试试其他关键词或标签。