graph-diffusion

Diffuser

Diffuser: Efficient Transformers with Multi-hop Attention Diffusion for Long Sequences

用多跳扩散复用稀疏注意力权重，改善长序列建模；显存与时间存在取舍，LRA原报均值有算术差异。