RESEARCH LIBRARY
cross-layer-routing
按标签浏览论文。
共 5 篇论文 · 按研读更新时间排序
OASIS
Attention Sinks and Outliers in Attention Residuals
OASIS 通过 token 与深度双空路由及空概率反馈改善 AttnResidual 的低比特稳健性；Qwen 消融中耦合额外提升 GSM8K 4.67 个百分点，12K 长上下文恢复大部分损失。
DeltaAttnRes
Delta Attention Residuals
在残差流上加性读取历史贡献改善困惑度，分块降低成本；原始 AttnRes 对照描述、恒等初始化与分块实现存在关键差异。
MoDA
Mixture-of-Depths Attention
MoDA 用统一 softmax 联合检索序列与同位置深度 KV，在所测模型中改善质量，并以融合内核降低长序列下的相对开销。
ResFormer
Value Residual Learning
ResFormer 通过首层 value 残差改善深层信息利用；SVFormer 共享 value 节省 KV 缓存，质量收益依赖训练长度与优化条件。
CLVR
Linear Attention Architectures: Mechanisms, Trade-offs, and Cross-Layer Routing
统一比较线性注意力的记忆控制与训练权衡，CLVR 将写入值投影至共享残差流，在匹配单次实验中小幅降低验证损失。
没有找到匹配论文，试试其他关键词或标签。