读过的论文，
随时接着读。
中文精读笔记、原文与汇报幻灯片。按主题找论文，沿着公式与图表深入阅读。
LoGRA
LoGRA: Scaling LLM Reinforcement Learning with Low-Rank Gradient Sketches
LoGRA 直接累计低秩梯度并用预测 KL 控制步长，使 7B 强化学习平均训练显存降低 45.7%，且在八张 H100 上训练密集 Adam 无法容纳的 27B 模型。
CPLM
Copy-Paste Language Models
CPLM在常规语言模型头之外加入可训练的上下文复制指针，通过额外梯度路径改善预训练，并使滑窗模型以较小缓存获得长距检索能力。
EndOfToken
Breaking the Token Ceiling: Distilling Smaller, Stronger Byte Models
EOT 用显式 token 边界精确转换教师分布；字节学生后期改善更快，4.0 个百分点的领先属于缩放律渐近外推，需结合验证集敏感性与推理成本解读。
Recirculation
Recirculation
把 token 的深层状态反馈到浅层并与后续 token 流水并行；固定版收益有限，自适应版训练反馈系数后在特定任务上提升更大，但预填充成本和评估条件仍需注意。
MemT
MemT-1.0: Towards Memory-Native Evolution
MemT-1.0 以稳定逐 token 写入和跨轮状态在参数化记忆基准领先，并降低长历史存储与延迟；精细召回仍落后于文本记忆。
MultiHashFormer
MultiHashFormer: Hash-based Generative Language Models
MultiHashFormer 以唯一多哈希签名和级联解码支持自回归生成，在 1B/3B 多数任务改善表现，并在 32K 到 48K 扩词表时不增加模型参数。
KronLSTM
Kronecker Delta Rule for Long Context Linear Attention
KronLSTM 用键值双重定向的标量误差修正矩阵记忆，在相同预训练预算下提升平均语言与自然文本检索表现，但重复噪声检索和32k绝对准确率仍有限。
LightTransfer
LightTransfer: Your Long-Context LLM is Secretly a Hybrid Model with Effortless Adaptation
LightTransfer 根据层级注意力局部性将部分全注意力转换为流式访问，通过在线缓存释放改善吞吐；长推理需训练适配，研读澄清了分数降幅、实验预算及图文矛盾。
MesaNet
MesaNet: Sequence Modeling by Locally Optimal Test-Time Training
MesaNet 用可分块并行的共轭梯度求解累计回归，改善固定状态的上下文学习与召回，并揭示平均困惑度与长距离信息利用之间的差异。
DeltaProduct
DeltaProduct: Improving State-Tracking in Linear RNNs via Householder Products
DeltaProduct 以每 token 多次 Householder 更新增强状态追踪与语言模型外推，保留转移范数界，并呈现依任务及预算变化的性能取舍。
SparDA
SparDA: Sparse Decoupled Attention for Efficient Long-Context LLM Inference
SparDA训练轻量Forecast提前一层选块，以紧凑索引器和常驻UVA预取重叠通信与计算，在两种8B模型上保持平均质量并提高长上下文吞吐。
Mamba-3
Mamba-3: Improved Sequence Modeling using State Space Principles
Mamba-3 以指数梯形写入、输入相关旋转和 MIMO 提升固定状态模型的表达能力与解码效率，并揭示训练计算、检索和归一化的具体取舍。
SFDA
Semidirect Fourier Delta Attention: Phase-Controlled Delta Memory with Constructive Chunk-WY Kernels
SFDA 以相位旋转扩展 Delta 记忆并给出精确分块 WY 构造；计数实验显示外推边界，研读澄清实化秩与广义模板的适用范围。
MDN
MDN: Parallelizing Stepwise Momentum for Delta Linear Attention
MDN 以求和换序和下三角求解并行化逐步动量，改善线性模型检索，但增加双状态与训练成本；研读厘清 v1 的公式和稳定性条件。
LeapQuant
LeapQuant: Efficient Linear Attention with Accurate Recurrent State Quantization
LeapQuant 以窗口量化、低秩补偿 token 和残差平滑抑制递归误差，8 位保持接近 FP32 的质量，并降低状态存储与推理成本。
GenMem
GenMem: Generative Symbolic Memory for Self-Evolving Harness
GenMem以生成式SID统一经验记忆读写并保持地址稳定，完整训练系统取得收益，但组合泛化与评测划分仍需补强。
Mamba3-Oscillation
Understanding Mamba-3 Through Oscillatory Dynamics
将 Mamba-3 的衰减与旋转解释为欠阻尼动力学；受控训练和相位干预支持其状态追踪、长上下文及信息累积收益，并区分训练收益与消融损害。
ClockDiffusion
Clock Diffusion: Efficient Semi-Autoregressive Continuous Diffusion Language Models
Clock Diffusion 用错开的局部去噪时钟与因果前缀缓存实现连续扩散的半自回归生成，Cache Grab 提前提交降低模型调用次数；SSD 需联合 AR 训练。
AlgebraLayers
Change the Product, Keep the Parameters: Associative Algebra Layers for Transformers
结合代数通过保留权重、减少固定交互降低投影计算；小模型生成提速约7%但质量下降，理论与内核证据需和递归模型实验分开理解。
MemoryMosaics
Memory Mosaics at scale
Memory Mosaics v2 以自适应核检索、门控 key 与三层记忆扩展至 9.9B，在常规能力接近时改善长文档问答和匿名标签上下文学习。
没有找到匹配论文，试试其他关键词或标签。