low-rank
按标签浏览论文。
ASI
Dimensional Collapse in Transformer Attention Outputs: A Challenge for Sparse Dictionary Learning
注意力输出的低有效秩与 SAE 死特征相关；ASI 对齐活跃子空间改善重建，百万特征下结合 SparseAdam 将死特征从约 87% 降至不足 1%。
LoGRA
LoGRA: Scaling LLM Reinforcement Learning with Low-Rank Gradient Sketches
LoGRA 直接累计低秩梯度并用预测 KL 控制步长，使 7B 强化学习平均训练显存降低 45.7%，且在八张 H100 上训练密集 Adam 无法容纳的 27B 模型。
LRKV
Low-Rank Key Value Attention
LRKV 用共享稠密 K/V 与每头低秩残差压缩缓存并改善报告的语言建模损失，但完整 RoPE 兼容性与部分缓存、消融数据仍有关键矛盾。
Attention-Temperature
Subquadratic Algorithms and Hardness for Attention with Any Temperature
固定维度下以局部多项式和半空间查询实现任意温度的次二次注意力，并给出条件下界；研读标注了 v1 的证明问题。
VarRate
VarRate: Training-Free Variable-Rate KV Cache Compression for Long-Context LLMs
VarRate按注意力显著性分配每token低秩预算，显著优于统一秩并改善查询复用鲁棒性，但运行时显存收益仍依赖融合内核。
LatentLLM
LatentLLM: Attention-Aware Joint Tensor Compression
LatentLLM 以平方根统计预条件、单位块分解和联合投影优化改善低秩压缩质量，但简单 VO 未见收益，实际推理加速仍待验证。
LLA
Looped Latent Attention: Cross-Loop KV Compression for Looped Transformers
LLA以跨循环低秩轨迹压缩KV，on-policy蒸馏改善部分长生成；容量收益明确，但吞吐、评测协议和原文表述存在边界。
DepthWeave-KV
DepthWeave-KV: Token-Adaptive Cross-Layer Residual Factorization for Long-Context KV Cache Compression
跨层共享低秩基结合 token 自适应残差与输出误差反馈压缩 KV；报告 8.3× 缩减，但实验配置缺失且消融存在冲突。
没有找到匹配论文，试试其他关键词或标签。