transformer
按标签浏览论文。
NCP-ArchPreview
NCP-ArchPreview Technical Report: Moving towards Latent Space Language Models through Next Concept Prediction
NCP-ArchPreview 在 8.94B/5.73T 规模联合预测 token 与概念，改善预训练效率并提供 17M 适配接口；中期训练的下游增益收窄且依赖任务。
ConceptLM
Next Concept Prediction in Discrete Latent Space Leads to Stronger Language Models
ConceptLM以分段码本和下一概念预测增强语言建模，小模型预训练收益较明显，8B增益有限；研读核对了公式与表格中的不一致。
LLA
Looped Latent Attention: Cross-Loop KV Compression for Looped Transformers
LLA以跨循环低秩轨迹压缩KV，on-policy蒸馏改善部分长生成；容量收益明确，但吞吐、评测协议和原文表述存在边界。
YOCO
You Only Cache Once: Decoder-Decoder Architectures for Language Models
YOCO通过双解码器共享一份全局KV缓存，保留全局注意力并显著降低长上下文预填充与显存成本。
FusedKV
Reconstructing KV Caches with Cross-layer Fusion For Enhanced Transformers
通过底层与中层 K/V 融合将缓存减半并改善语言建模；完整融合存在解码访存开销，长上下文质量仍有折中。
MoDA
Mixture-of-Depths Attention
MoDA 用统一 softmax 联合检索序列与同位置深度 KV，在所测模型中改善质量，并以融合内核降低长序列下的相对开销。
BoV
Do Value Vectors in Deep Layers Need Context from the Residual Stream?
BoV 在最后三分之一层以逐层 token 查表替代 Value 投影，在所测规模改善平均表现，但参数存储与缓存收益取决于负载。
TIDE
TIDE: Every Layer Knows the Token Beneath the Context
TIDE 用上下文路由逐层注入 token 身份记忆，改善低频词损失与平均任务表现，同时增加词表存储和解码开销。
EG-MLA
EG-MLA: Embedding-Gated Multi-head Latent Attention for Scalable and Efficient LLMs
EG-MLA 用 token 嵌入门控与归一化换取更小 KV 状态，Base 缓存减少约 60% 且平均质量保持，但额外参数、解码开销与缩放结果需一并衡量。
ResFormer
Value Residual Learning
ResFormer 通过首层 value 残差改善深层信息利用；SVFormer 共享 value 节省 KV 缓存，质量收益依赖训练长度与优化条件。
MoD
Mixture-of-Depths: Dynamically allocating compute in transformer-based language models
MoD 在固定训练计算预算下学习 token 级深度路由，交替完整层与低容量层改善损失和单次计算量的折中，并以因果预测器支持生成。
没有找到匹配论文，试试其他关键词或标签。