conditional-computation

MoD

Mixture-of-Depths: Dynamically allocating compute in transformer-based language models

MoD 在固定训练计算预算下学习 token 级深度路由，交替完整层与低容量层改善损失和单次计算量的折中，并以因果预测器支持生成。