RESEARCH LIBRARY
mixture-of-experts
按标签浏览论文。
共 2 篇论文 · 按研读更新时间排序
ELR
One Model to Loop Them All: Elastic Latent Recurrence for Language Models
ELR以门控更新、同次更新混合深度与循环条件调制保留单循环平均能力，并用额外循环提升质量；路由和KV复用各有成本与任务取舍。
MoD
Mixture-of-Depths: Dynamically allocating compute in transformer-based language models
MoD 在固定训练计算预算下学习 token 级深度路由，交替完整层与低容量层改善损失和单次计算量的折中，并以因果预测器支持生成。
没有找到匹配论文，试试其他关键词或标签。