transformer
按标签浏览论文。
SU
Spectral Unlearning: Transformer Structure-Preserving Updates for Language Models
谱遗忘以矩阵几何改造现有遗忘目标的更新方向，改善遗忘、隐私与效用折中，但收益依赖配置并增加计算成本。
DeltaFormer
Understanding Transformer from the Perspective of Associative Memory
以关联记忆的检索信噪比与残差写入统一分析 Attention 和 FFN，并以 DeltaFormer 的状态追踪构造及合成实验展示核与更新规则的作用。
PoPE
Decoupling the "What" and "Where" With Polar Coordinate Positional Embeddings
PoPE 用非负内容幅值与位置相位解耦注意力匹配，在间接索引、序列建模和长上下文外推实验中优于 RoPE。
DFM
Deep Fusion Memory: A Chunk-Level Parametric Memory for Large Language Models
DFM以32-token块级检索目标训练因果记忆预测器，在冻结模型中间层门控融合，降低离线目标构建工作量并提高问答与领域适配平均分。
Sorting
Transformers Learn Two Competing Sorting Algorithms, and Only One Length-Generalizes
同一两层单头 Transformer 会因初始化学到不同排序路径；小间隔分工与查询侧提示使两阶段路径更能长度泛化，而最小值任务和多头模型改变这一关系。
ContextParamEq
Equivalence of Context and Parameter Updates in Modern Transformer Blocks
在输入与输出可控及非零条件下，上下文对当前查询的效应可逐层表示为秩一矩阵和输出端补丁；Gemma低精度计算需要稳定构造。
Recirculation
Recirculation
把 token 的深层状态反馈到浅层并与后续 token 流水并行；固定版收益有限，自适应版训练反馈系数后在特定任务上提升更大，但预填充成本和评估条件仍需注意。
MultiHashFormer
MultiHashFormer: Hash-based Generative Language Models
MultiHashFormer 以唯一多哈希签名和级联解码支持自回归生成，在 1B/3B 多数任务改善表现，并在 32K 到 48K 扩词表时不增加模型参数。
AlgebraLayers
Change the Product, Keep the Parameters: Associative Algebra Layers for Transformers
结合代数通过保留权重、减少固定交互降低投影计算；小模型生成提速约7%但质量下降，理论与内核证据需和递归模型实验分开理解。
MemoryMosaics
Memory Mosaics at scale
Memory Mosaics v2 以自适应核检索、门控 key 与三层记忆扩展至 9.9B，在常规能力接近时改善长文档问答和匿名标签上下文学习。
DepthBench
DepthBench: Measuring How Residual Connections Enable More Computational Depth
DepthBench揭示残差设计改变宽深分配收益：Full AttnRes与HC改善深度利用，但存在规模、最佳深度与系统成本的取舍。
Transformer-Topology
The Topological Trouble With Transformers
从计算图解释固定深度中的状态上移与浅层可达性限制，按循环轴和更新粒度分类，并讨论增强状态更新与高效训练的取舍。
CALM
Continuous Autoregressive Language Models
CALM以鲁棒潜表示和单步能量生成头实现块级语言生成，降低FLOPs；收益需结合离散反馈、温度采样成本与BrierLM适用条件理解。
DiscoLoop
DiscoLoop: Looping Discrete Embeddings and Continuous Hidden States for Multi-hop Reasoning
DiscoLoop在循环间保留连续隐藏状态并注入软解码嵌入，缓解桥接实体表示失配，显著改善受控多跳泛化并小幅提升预训练表现。
MoNe
MoNe: Modular Neural Memory for Efficient Long Context Inference
MoNe以逐层局部快权重更新为冻结Transformer写入长上下文，在受控任务外推至128K并降低显存与FLOPs，但依赖离线任务训练。
Diffuser
Diffuser: Efficient Transformers with Multi-hop Attention Diffusion for Long Sequences
用多跳扩散复用稀疏注意力权重，改善长序列建模；显存与时间存在取舍，LRA原报均值有算术差异。
ExplicitLM
ExplicitLM: Decoupling Knowledge from Parameters via Explicit Memory Banks
通过可读 token 记忆和两阶段可训练检索改善预置事实召回，知识编辑效果及同知识条件对比仍待验证。
DeltaAttnRes
Delta Attention Residuals
在残差流上加性读取历史贡献改善困惑度，分块降低成本；原始 AttnRes 对照描述、恒等初始化与分块实现存在关键差异。
ICL-Data
Data Distributional Properties Drive Emergent In-Context Learning in Transformers
局部重复、类别稀有性和动态映射促进上下文学习；Zipf 分布可使其与常见类参数记忆共存，但完整输出评估揭示选择限制。
RelaxedRecursive
Relaxed Recursive Transformers: Effective Parameter Sharing with Layer-wise LoRA
通过共享层块与逐层SVD残差LoRA转换预训练模型，在参数量和精度间折中；连续深度批处理的加速证据仍基于理想早退模拟。
没有找到匹配论文，试试其他关键词或标签。