efficiency

SAF

When Can Attention Heads Be Statically Defined?

SAF 用低方差注意力头的概率均值构造紧凑固定模式，降低更新开销而保留值混合，但收益受替换率和工作负载影响。