reparameterization

VHA

Virtual Head Attention

VHA以查询前混合和低秩输出混合训练两KV头GQA，在压缩缓存下改善质量，并可将新增模块合并进标准投影。