RESEARCH LIBRARY
Routing
按研读更新时间浏览本主题的论文;一篇论文可属于多个主题。
共 4 篇论文 · 按研读更新时间排序
ELR
One Model to Loop Them All: Elastic Latent Recurrence for Language Models
ELR以门控更新、同次更新混合深度与循环条件调制保留单循环平均能力,并用额外循环提升质量;路由和KV复用各有成本与任务取舍。
TIDE
TIDE: Every Layer Knows the Token Beneath the Context
TIDE 用上下文路由逐层注入 token 身份记忆,改善低频词损失与平均任务表现,同时增加词表存储和解码开销。
MoM
MoM: Linear Sequence Modeling with Mixture-of-Memories
MoM 用稀疏路由隔离多个递归记忆并改善召回,等激活参数比较仍有收益,但总状态成本和部分评测口径需区分。
MoD
Mixture-of-Depths: Dynamically allocating compute in transformer-based language models
MoD 在固定训练计算预算下学习 token 级深度路由,交替完整层与低容量层改善损失和单次计算量的折中,并以因果预测器支持生成。
没有找到匹配论文,试试其他关键词或标签。