embedding-gating

EG-MLA

EG-MLA: Embedding-Gated Multi-head Latent Attention for Scalable and Efficient LLMs

EG-MLA 用 token 嵌入门控与归一化换取更小 KV 状态，Base 缓存减少约 60% 且平均质量保持，但额外参数、解码开销与缩放结果需一并衡量。