Architecture
循环状态、深度复用、跨层连接与动态路由。
LLA
Looped Latent Attention: Cross-Loop KV Compression for Looped Transformers
LLA以跨循环低秩轨迹压缩KV，on-policy蒸馏改善部分长生成；容量收益明确，但吞吐、评测协议和原文表述存在边界。
YOCO
You Only Cache Once: Decoder-Decoder Architectures for Language Models
YOCO通过双解码器共享一份全局KV缓存，保留全局注意力并显著降低长上下文预填充与显存成本。
DepthWeave-KV
DepthWeave-KV: Token-Adaptive Cross-Layer Residual Factorization for Long-Context KV Cache Compression
跨层共享低秩基结合 token 自适应残差与输出误差反馈压缩 KV；报告 8.3× 缩减，但实验配置缺失且消融存在冲突。
FusedKV
Reconstructing KV Caches with Cross-layer Fusion For Enhanced Transformers
通过底层与中层 K/V 融合将缓存减半并改善语言建模；完整融合存在解码访存开销，长上下文质量仍有折中。
MoDA
Mixture-of-Depths Attention
MoDA 用统一 softmax 联合检索序列与同位置深度 KV，在所测模型中改善质量，并以融合内核降低长序列下的相对开销。
BoV
Do Value Vectors in Deep Layers Need Context from the Residual Stream?
BoV 在最后三分之一层以逐层 token 查表替代 Value 投影，在所测规模改善平均表现，但参数存储与缓存收益取决于负载。
Parcae
Parcae: Scaling Laws For Stable Looped Language Models
Parcae 通过约束循环状态传递与改进深度采样稳定训练，并发现循环与数据协同增长、推理收益趋于饱和的经验缩放律。
TIDE
TIDE: Every Layer Knows the Token Beneath the Context
TIDE 用上下文路由逐层注入 token 身份记忆，改善低频词损失与平均任务表现，同时增加词表存储和解码开销。
EG-MLA
EG-MLA: Embedding-Gated Multi-head Latent Attention for Scalable and Efficient LLMs
EG-MLA 用 token 嵌入门控与归一化换取更小 KV 状态，Base 缓存减少约 60% 且平均质量保持，但额外参数、解码开销与缩放结果需一并衡量。
ResFormer
Value Residual Learning
ResFormer 通过首层 value 残差改善深层信息利用；SVFormer 共享 value 节省 KV 缓存，质量收益依赖训练长度与优化条件。
MoM
MoM: Linear Sequence Modeling with Mixture-of-Memories
MoM 用稀疏路由隔离多个递归记忆并改善召回，等激活参数比较仍有收益，但总状态成本和部分评测口径需区分。
MoD
Mixture-of-Depths: Dynamically allocating compute in transformer-based language models
MoD 在固定训练计算预算下学习 token 级深度路由，交替完整层与低容量层改善损失和单次计算量的折中，并以因果预测器支持生成。
CLVR
Linear Attention Architectures: Mechanisms, Trade-offs, and Cross-Layer Routing
统一比较线性注意力的记忆控制与训练权衡，CLVR 将写入值投影至共享残差流，在匹配单次实验中小幅降低验证损失。
没有找到匹配论文，试试其他关键词或标签。