RESEARCH LIBRARY
length-generalization
按标签浏览论文。
共 5 篇论文 · 按研读更新时间排序
SAB
Sparse Attentive Backtracking: Temporal CreditAssignment Through Reminding
SAB 通过稀疏检索历史状态并在其附近回传局部梯度，弥补 TBPTT 的远程信用缺口并改善复制任务的长度泛化。
CST
Learning Length-Extrapolatable Recurrent Models
CST 通过局部缩放反向状态信用改善循环模型的长度外推，在合成任务与小型语言模型中取得收益，但存在任务依赖与训练吞吐代价。
Sorting
Transformers Learn Two Competing Sorting Algorithms, and Only One Length-Generalizes
同一两层单头 Transformer 会因初始化学到不同排序路径；小间隔分工与查询侧提示使两阶段路径更能长度泛化，而最小值任务和多头模型改变这一关系。
DAT
Delayed Attention Training Improves Length Generalization in Transformer--RNN Hybrids
DAT先训练循环路径再启用注意力，显著改善复合任务的长度泛化；三倍长度时五种混合结构中四种准确率超过90%。
LengthGen
Understanding and Improving Length Generalization in Recurrent Models
通过初态干预扩展训练状态覆盖，以低预算后训练缓解循环模型的长度外失效，并区分稳定困惑度与远距离任务能力。
没有找到匹配论文，试试其他关键词或标签。