looped-transformers

StateLoop

StateLoop: Persistent State for Looped Transformers

StateLoop在共享Transformer主干之外为每个token加入跨循环深度持续更新的门控状态，改善语言建模困惑度与平均下游准确率，并以消融隔离持久性的贡献。