residual-learning

RLA

Enhancing Linear Attention with Residual Learning

RLA/RDN 用第二个递推状态拟合历史预测残差，在保持线性扩展的同时改善建模与召回，并增加状态容量和计算开销。