efficient-transformer

LiSA

LiSA: Linear Stochastic Attention for Long-Range Visual Modeling

LiSA 用低秩随机游走为线性注意力加入多跳交互，并以局部窗口保留细节；在多项视觉基准上提高准确率，但超长序列的延迟仍高于 FLatten。