hybrid-architectures
按标签浏览论文。
MemoryPathways
Balancing Memory Pathways: Analyzing and Improving Memory Utilization in Hybrid LMs
混合模型的普通 SFT 偏重注意力；递归辅助监督改善记忆利用和长上下文任务表现，按信息类型分工也有助于文本与隐式记忆协作。
SSE
Scaling Linear Attention with Sparse State Expansion
SSE以共享参数的稀疏状态分区改善检索与记忆保留，混合版保持接近同流程Transformer的推理能力，收益需结合状态存储与活跃计算理解。
LightTransfer
LightTransfer: Your Long-Context LLM is Secretly a Hybrid Model with Effortless Adaptation
LightTransfer 根据层级注意力局部性将部分全注意力转换为流式访问，通过在线缓存释放改善吞吐；长推理需训练适配，研读澄清了分数降幅、实验预算及图文矛盾。
Samba
Samba: Simple Hybrid State Space Models for Efficient Unlimited Context Language Modeling
Samba交替组合Mamba、SWA与MLP，改善匹配训练下的模型质量与长序列效率；百万长度预测外推与任务微调后的精确召回需分别理解。
HYPIC
HYPIC: Accelerating Hybrid-Attention LLM Serving with Position-Independent Caching
HYPIC 以段级转移算子组合循环状态，结合边界重算与冷段并行加速混合注意力服务；需区分单层精确组合与深层近似复用。
Tail-Replay
Tail-Replay: Escaping the Curse of Linear Attention in Prefix Caching for Hybrid LLMs
Tail-Replay 缓存精确 FA KV 与输出隐藏向量，以独立短尾重放近似恢复循环状态，实现灵活前缀复用；质量代价依赖任务，RULER 汇总存在已标注冲突。
HypeNet
Hybrid Linear Attention Done Right: Efficient Distillation and Effective Architectures for Extremely Long Contexts
HALO以约2.3B tokens转换Qwen3，HypeNet结合循环RoPE、全局NoPE与动态缩放改善长检索和效率；研读标注v1数值与配置差异。
Hybrid-Hierarchy
A Provable Expressiveness Hierarchy in Hybrid Linear-Full Attention
以通信复杂度分析混合注意力的顺序复合下界，区分全注意力访问轮数与循环状态容量，并标注 v1 的证明及参数范围问题。
HedgeCATs
Untangling Component Imbalance in Hybrid Linear Attention Conversion Methods
通过组件消融揭示混合线性注意力转换中对滑窗分支的过度依赖，并用推理时混合、HedgeCATs 与 SSD 保留线性分支的有效贡献。
DAT
Delayed Attention Training Improves Length Generalization in Transformer--RNN Hybrids
DAT先训练循环路径再启用注意力，显著改善复合任务的长度泛化；三倍长度时五种混合结构中四种准确率超过90%。
BASED
Simple linear attention language models balance the recall-throughput tradeoff
BASED 以全局 Taylor 线性记忆、小窗口注意力和短卷积改善召回，并通过 IO-aware 内核提高生成吞吐；研读澄清了原文数字与评测口径的不一致。
HybridPosition
Mechanics of Long-Context Hybrid Models Part 1.1: From Hybrid Attention to Hybrid Position
混合位置分工解释外推与长训练的差异；扩窗与LongCE改善SWA，SWLA结合NoPE尺度修正增强LA外推。
M2RNN
M$^2$RNN: Non-Linear RNNs with Matrix-Valued States for Scalable Language Modeling
M²RNN以矩阵状态扩展非线性递推，单层替换改善7B GDN混合模型的语言建模与长上下文表现，并保留接近基线的训练吞吐。
DSLA
On-the-Fly Adaptive Distillation of Transformer to Dual-State Linear Attention
DSLA以历史与近期双状态配合按敏感度逐层转换，在指定服务回放中实现2.29倍加速，并呈现任务相关的质量取舍。
LLM-Memory
Memory for Large Language Models
以表示、更新动态和持续性三轴统一模型级记忆，细分写入与管理规则，并分析混合架构的召回、干扰和资源取舍。
没有找到匹配论文，试试其他关键词或标签。