hybrid-attention

NAtS-L

Neural Attention Search Linear: Towards Adaptive Token-Level Hybrid Attention Models

NAtS-L按64-token块选择显式KV或GDN状态，并以query条件权重融合；Hybrid提升检索和长输入效率，但仍保留未受硬预算约束的softmax项。