prefix-caching

Tail-Replay

Tail-Replay: Escaping the Curse of Linear Attention in Prefix Caching for Hybrid LLMs

Tail-Replay 缓存精确 FA KV 与输出隐藏向量，以独立短尾重放近似恢复循环状态，实现灵活前缀复用；质量代价依赖任务，RULER 汇总存在已标注冲突。