读过的论文,
随时接着读。
中文精读笔记、原文与汇报幻灯片。按主题找论文,沿着公式与图表深入阅读。
BrainLoRA
Scaling Parameter-Efficient Fine-Tuning for Brain Encoding
BrainLoRA 在自然电影全脑 fMRI 预测中,以单次因果提取和小规模 LoRA 超过同骨干大型读出基线,并借多适配器集成进一步提高分数。
PoPE
Decoupling the "What" and "Where" With Polar Coordinate Positional Embeddings
PoPE 用非负内容幅值与位置相位解耦注意力匹配,在间接索引、序列建模和长上下文外推实验中优于 RoPE。
StateLoop
StateLoop: Persistent State for Looped Transformers
StateLoop在共享Transformer主干之外为每个token加入跨循环深度持续更新的门控状态,改善语言建模困惑度与平均下游准确率,并以消融隔离持久性的贡献。
Jeva
Jeva: System One Models from First Principles
Jeva 将候选独立编码与集合条件化状态更新结合,用覆盖门识别空答案,并以置换对称和候选级缓存支持稳定且可扩展的类型化决策。
PACE
PACE: Periodic and Channel-Aligned Encoding of Four-Bit Recurrent States
PACE 通过周期性舍入、按值通道分组量化及按头分配精度,以更低驻留显存维持循环状态质量。
SoftmaxFix
A Fix for Softmax and Cross-Entropy
通过重排 softmax 和交叉熵的浮点计算,保留高置信度与近教师蒸馏时的微小梯度,并消除所测任务中的 Slingshot 尖峰和学生漂移。
ActiveInertFacts
Knowledge That Is Linear Before Fine-Tuning Generalizes After It
旧关系答案在预训练表示中的线性可读性,比旧关系召回更能预测随机重标后新关系对未见主体的微调泛化。
DFM
Deep Fusion Memory: A Chunk-Level Parametric Memory for Large Language Models
DFM以32-token块级检索目标训练因果记忆预测器,在冻结模型中间层门控融合,降低离线目标构建工作量并提高问答与领域适配平均分。
TensorLogic
Tensor Logic: The Language of AI
以连接、投影和阈值把 Datalog 规则写成张量方程,统一多类 AI 模型的表达;嵌入空间严格推理与扩展性仍待证明和实测。
Sorting
Transformers Learn Two Competing Sorting Algorithms, and Only One Length-Generalizes
同一两层单头 Transformer 会因初始化学到不同排序路径;小间隔分工与查询侧提示使两阶段路径更能长度泛化,而最小值任务和多头模型改变这一关系。
ContextParamEq
Equivalence of Context and Parameter Updates in Modern Transformer Blocks
在输入与输出可控及非零条件下,上下文对当前查询的效应可逐层表示为秩一矩阵和输出端补丁;Gemma低精度计算需要稳定构造。
NCM
Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation
NCM以多尺度残差离散代码组织粗到细的并行文本生成,在多个任务以更少采样调用取得竞争质量和显著推理加速。
ParisKV
ParisKV: Fast and Drift-Robust KV-Cache Retrieval for Long-Context LLMs
ParisKV以固定球面方向中心、GPU碰撞筛选和4-bit校正重排稳定检索历史KV,再用UVA按需取回,在长生成与百万token推理中兼顾准确率和解码速度。
LowBitNGram
Low-Bit N-Gram Embeddings for Language Models
逐行缩放的4-bit n-gram表节省约75%表内存并保留99%以上原表收益,2-bit扩表还能以约半数内存超过原表。
Cortex
Cortex: Consolidating Context into Parametric Memory
Cortex 用前瞻性查询和有上下文教师蒸馏,将经验写入可合并的 FFN 更新;50 次连续事实编辑恢复 88.9% 的上下文增益并保留 99.8% 的所测非目标表现。
DLite
DLite: History-free Speculative Decoding for Agentic AI
DLite 复用目标模型隐藏状态,让草稿器只做局部预测并免维护历史 KV;在长上下文代理任务上显著提高接受长度与解码速度。
RL-after-NTP
How Reinforcement Learning After Next-Token Prediction Facilitates Learning
稀有正确长推理示范在预训练中先被学会,RL再通过奖励筛选提高其有效占比,使贪心输出变长并提升准确率。
OpenAttention
OpenAttention: One Percent Is Enough with Tail Proxies
用查询几何分簇和按误差分配的长尾代理,在 RULER-32K HARD 上以 1% 读取保留约 99% 的密集注意力准确率。
RepGeometry
Tracing the Representation Geometry of Language Models from Pretraining to Post-training
论文用协方差谱揭示预训练的塌缩、扩张与压缩,并比较 SFT、DPO 和 RLVR 的几何与行为变化。
SelfImprovingBranches
Mixture of Self-Improving Branches For Agent Harness Optimization
通过动态分配开发题、更新分支提案指导并按题路由,该系统将 Math–Gemini 留出准确率从 46.0% 提至 62.0%,但完整搜索使用更多 token。
没有找到匹配论文,试试其他关键词或标签。