读过的论文,
随时接着读。
中文精读笔记、原文与汇报幻灯片。按主题找论文,沿着公式与图表深入阅读。
ResidualKV
ResidualKV: Residual-Based KV Cache Compression for Efficient Long-Context Inference
以全局参考和量化残差压缩 KV,结合稀疏按需恢复兼顾质量与存储;v2 部分实验预算口径仍需澄清。
ExplicitLM
ExplicitLM: Decoupling Knowledge from Parameters via Explicit Memory Banks
通过可读 token 记忆和两阶段可训练检索改善预置事实召回,知识编辑效果及同知识条件对比仍待验证。
FRAC
Fractional State Space Transition for Long Sequence Modeling
FRAC 以分数阶理论指导几何时间尺度库和选择性读写,改善固定状态模型的长上下文表现;实验写入规则采用稳定化改动。
OASIS
Attention Sinks and Outliers in Attention Residuals
OASIS 通过 token 与深度双空路由及空概率反馈改善 AttnResidual 的低比特稳健性;Qwen 消融中耦合额外提升 GSM8K 4.67 个百分点,12K 长上下文恢复大部分损失。
DeltaAttnRes
Delta Attention Residuals
在残差流上加性读取历史贡献改善困惑度,分块降低成本;原始 AttnRes 对照描述、恒等初始化与分块实现存在关键差异。
LLM-Memory
Memory for Large Language Models
以表示、更新动态和持续性三轴统一模型级记忆,细分写入与管理规则,并分析混合架构的召回、干扰和资源取舍。
Attention-Evolution
The Evolution of Attention in Large Language Models: Mechanisms, Trade-offs, and Emerging Trends
以表示、更新、访问、读出和整合五维梳理注意力演化,指出混合架构与跨层复用正把网络深度纳入记忆生命周期管理。
Cogentic
Cogentic: Multi-Agent Orchestration for Automated Proof Discovery
Cogentic 通过并行证明、对抗审查与已验证引理账本积累跨轮次进展,在五项开放问题上产出经专家复核的新界与证明。
CyFA
CyFA: Linear Sequence Modeling with Relative-Time-Partitioned Memory
通过可学习时钟组织相对时间槽,并用精确坐标变换实现两遍标量递推,在匹配主状态预算下改善召回。
RIS-Kernel
RIS-Kernel: A Model-Agnostic Architecture for Long-Context LLM Inference via Sparse Attention
RIS-Kernel以随机与局部连接并集及统一softmax实现CPU长上下文推理;复杂度、统计强度及32k图表一致性限制其结论。
Trace-as-State
Trace as State: Reasoning Traces as Conditional States for Long-Context Transformers
将首轮推理轨迹前置到长上下文重读,在多数指标上优于同轨迹后置;最强收益来自图父节点任务,并伴随额外推理成本。
ICL-Data
Data Distributional Properties Drive Emergent In-Context Learning in Transformers
局部重复、类别稀有性和动态映射促进上下文学习;Zipf 分布可使其与常见类参数记忆共存,但完整输出评估揭示选择限制。
JRT
Just read twice: closing the recall gap for recurrent language models
JRT 通过重复提示和非因果前缀编码改善有限状态模型的召回,收益依赖提示、填充及内核条件。
PartRep
PARTREP: Learning What to Repeat for Decoder-only LLMs
PartRep 用高 NLL 监督训练中间层门控,以选择性重复保留接近完整重复的平均收益,并降低相对完整重复的缓存与预填充成本。
Sleep
Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories
Sleep 用更新前自蒸馏与慢层专家巩固记忆,再通过 Dreaming 改善适配,收益受任务协议与容量成本限制。
SSM-Gating
On the Importance of Gating: Memorization vs. In-Context Learning in State Space Models
门控使 SSM 的参数记忆与上下文检索产生优化竞争,并在保留远处信号与抑制长上下文干扰之间形成取舍。
LoLCATs
LoLCATs: On Low-Rank Linearizing of Large Language Models
LoLCATs以注意力输出迁移和LoRA低成本转换大模型,扩展至405B,但MMLU与检索能力仍受架构和数据限制。
RelaxedRecursive
Relaxed Recursive Transformers: Effective Parameter Sharing with Layer-wise LoRA
通过共享层块与逐层SVD残差LoRA转换预训练模型,在参数量和精度间折中;连续深度批处理的加速证据仍基于理想早退模拟。
NCP-ArchPreview
NCP-ArchPreview Technical Report: Moving towards Latent Space Language Models through Next Concept Prediction
NCP-ArchPreview 在 8.94B/5.73T 规模联合预测 token 与概念,改善预训练效率并提供 17M 适配接口;中期训练的下游增益收窄且依赖任务。
ConceptLM
Next Concept Prediction in Discrete Latent Space Leads to Stronger Language Models
ConceptLM以分段码本和下一概念预测增强语言建模,小模型预训练收益较明显,8B增益有限;研读核对了公式与表格中的不一致。
没有找到匹配论文,试试其他关键词或标签。