RESEARCH LIBRARY

efficient-inference

按标签浏览论文。

共 45 篇论文 · 按研读更新时间排序

2410.10254v3 · r1

LoLCATs

LoLCATs: On Low-Rank Linearizing of Large Language Models

LoLCATs以注意力输出迁移和LoRA低成本转换大模型，扩展至405B，但MMLU与检索能力仍受架构和数据限制。

2410.20672v3 · r1

Relaxed Recursive Transformers: Effective Parameter Sharing with Layer-wise LoRA

通过共享层块与逐层SVD残差LoRA转换预训练模型，在参数量和精度间折中；连续深度批处理的加速证据仍基于理想早退模拟。

2509.16686v1 · r1

EG-MLA: Embedding-Gated Multi-head Latent Attention for Scalable and Efficient LLMs

EG-MLA 用 token 嵌入门控与归一化换取更小 KV 状态，Base 缓存减少约 60% 且平均质量保持，但额外参数、解码开销与缩放结果需一并衡量。

2410.17897v5 · r1

Value Residual Learning

ResFormer 通过首层 value 残差改善深层信息利用；SVFormer 共享 value 节省 KV 缓存，质量收益依赖训练长度与优化条件。

2404.02258v1 · r1

Mixture-of-Depths: Dynamically allocating compute in transformer-based language models

MoD 在固定训练计算预算下学习 token 级深度路由，交替完整层与低容量层改善损失和单次计算量的折中，并以因果预测器支持生成。