finite-scalar-quantization

Transformer-FSQ

Transformer-FSQ: Discrete Latents for Extreme KV-Cache Compression

Transformer-FSQ以共享4-bit离散潜码压缩K/V缓存，在所测Qwen3模型的极端压缩RULER检索上保持领先，并以融合内核维持解码吞吐。