looped-transformer
按标签浏览论文。
Transformer-Topology
The Topological Trouble With Transformers
从计算图解释固定深度中的状态上移与浅层可达性限制,按循环轴和更新粒度分类,并讨论增强状态更新与高效训练的取舍。
LPT
The Surprising Effectiveness of Shared Memory in Looped Transformers
LPT让后续循环共享首轮KV并保留短窗口,在减少缓存的同时改善质量;共享梯度路径支持记忆学习,计算与延迟仍随循环增加。
LoopedReuse
Learning to Compute Is Not Learning to Retain or Reuse in Looped Transformers
以精确反事实替换与状态冻结区分循环模型的计算、答案保持和状态复用,揭示答案出现后仍需若干轮更新才能支持后续计算。
LoopLM-Conditioning
What Makes Recurrence Effective in Looped Language Models?
揭示循环深度的知识与推理取舍,并以历史状态差分和时间门控改善深度外推;收益依赖架构、参数化与推理预算。
ELR
One Model to Loop Them All: Elastic Latent Recurrence for Language Models
ELR以门控更新、同次更新混合深度与循环条件调制保留单循环平均能力,并用额外循环提升质量;路由和KV复用各有成本与任务取舍。
LoopMDM
Looped Diffusion Language Models
LoopMDM以少量早中层共享循环改善掩码扩散模型的训练效率和质量,自适应停止减少循环开销;需区分训练与推理预算。
RelaxedRecursive
Relaxed Recursive Transformers: Effective Parameter Sharing with Layer-wise LoRA
通过共享层块与逐层SVD残差LoRA转换预训练模型,在参数量和精度间折中;连续深度批处理的加速证据仍基于理想早退模拟。
MELT
Memory-Efficient Looped Transformer: Decoupling Compute from Memory in Looped Language Models
MELT 以门控记忆和两阶段迁移将四轮循环的 KV 缓存降至 Ouro 的四分之一,保留接近教师的性能;精读标注原文排名与显存算术差异。
LLA
Looped Latent Attention: Cross-Loop KV Compression for Looped Transformers
LLA以跨循环低秩轨迹压缩KV,on-policy蒸馏改善部分长生成;容量收益明确,但吞吐、评测协议和原文表述存在边界。
Parcae
Parcae: Scaling Laws For Stable Looped Language Models
Parcae 通过约束循环状态传递与改进深度采样稳定训练,并发现循环与数据协同增长、推理收益趋于饱和的经验缩放律。
没有找到匹配论文,试试其他关键词或标签。