sparsity

SpargeAttn

SpargeAttention: Accurate and Training-free Sparse Attention Accelerating Any Model Inference

通过选择性块压缩与在线 softmax 二次筛选，结合量化加速跨模态注意力，并保护难以压缩的异常块。