Unsorted
新收录但尚未归类的论文。
TokenRobustness
Language Models are not Equally Robust to Non-Canonical Tokenization across Languages
同文不同合法切分会造成语言与任务相关的性能退化；英语分桶多切分训练提高跨语言 ARC 准确率，但未消除相对分词差距。
zip2zip
zip2zip: Inference-Time Adaptive Tokenization via Online Compression
zip2zip 通过在线字典、动态向量与压缩语言建模减少输入输出 token，但数值推理与部分翻译质量存在显著代价。
Orthros
Orthros: Phase-Aware Heterogeneous Attention for Efficient Transformers
Orthros 用局部基础流建立完整 KV、按需全局输出查询降低预填充成本，保留召回能力，但增加训练计算且长输出时收益减弱。
SU
Spectral Unlearning: Transformer Structure-Preserving Updates for Language Models
谱遗忘以矩阵几何改造现有遗忘目标的更新方向，改善遗忘、隐私与效用折中，但收益依赖配置并增加计算成本。
LexFrame
Lexical Reference Frames: Interpreting LM Residual Streams in Native Semantics
LexFrame 通过剩余网络和有限阶前缀交互读取隐藏状态，以系数差分改善归因、用词汇基实现更具选择性的干预。
SAF
When Can Attention Heads Be Statically Defined?
SAF 用低方差注意力头的概率均值构造紧凑固定模式，降低更新开销而保留值混合，但收益受替换率和工作负载影响。
SimpleHC
On the Design of Hyper-Connections: Simplification, Stability, and Scalability
SimpleHC 以学习读写门、恒等残差传递及跨四个子层共享状态访问，在 15B/30B MoE 上保持接近 mHC 的质量，并将最大测试宽度的训练时间额外开销降至 2.4%。
ShortContext
You don't need long context
通过任务状态压缩与外部资料按需检索，多项长流程和长输入任务可在短活跃上下文下保持成绩；成本节省倍数基于定价模型推算。
ContextLength
Context Length Alone Hurts LLM Performance Despite Perfect Retrieval
长输入即使保留可逐字找回的证据，解题准确率仍会下降；空白与掩码控制支持长度相关退化，先检索再短提示可缓解部分任务。
BrainLoRA
Scaling Parameter-Efficient Fine-Tuning for Brain Encoding
BrainLoRA 在自然电影全脑 fMRI 预测中，以单次因果提取和小规模 LoRA 超过同骨干大型读出基线，并借多适配器集成进一步提高分数。
StateLoop
StateLoop: Persistent State for Looped Transformers
StateLoop在共享Transformer主干之外为每个token加入跨循环深度持续更新的门控状态，改善语言建模困惑度与平均下游准确率，并以消融隔离持久性的贡献。
Jeva
Jeva: System One Models from First Principles
Jeva 将候选独立编码与集合条件化状态更新结合，用覆盖门识别空答案，并以置换对称和候选级缓存支持稳定且可扩展的类型化决策。
ActiveInertFacts
Knowledge That Is Linear Before Fine-Tuning Generalizes After It
旧关系答案在预训练表示中的线性可读性，比旧关系召回更能预测随机重标后新关系对未见主体的微调泛化。
DFM
Deep Fusion Memory: A Chunk-Level Parametric Memory for Large Language Models
DFM以32-token块级检索目标训练因果记忆预测器，在冻结模型中间层门控融合，降低离线目标构建工作量并提高问答与领域适配平均分。
TensorLogic
Tensor Logic: The Language of AI
以连接、投影和阈值把 Datalog 规则写成张量方程，统一多类 AI 模型的表达；嵌入空间严格推理与扩展性仍待证明和实测。
DLite
DLite: History-free Speculative Decoding for Agentic AI
DLite 复用目标模型隐藏状态，让草稿器只做局部预测并免维护历史 KV；在长上下文代理任务上显著提高接受长度与解码速度。
RL-after-NTP
How Reinforcement Learning After Next-Token Prediction Facilitates Learning
稀有正确长推理示范在预训练中先被学会，RL再通过奖励筛选提高其有效占比，使贪心输出变长并提升准确率。
CPLM
Copy-Paste Language Models
CPLM在常规语言模型头之外加入可训练的上下文复制指针，通过额外梯度路径改善预训练，并使滑窗模型以较小缓存获得长距检索能力。
Recirculation
Recirculation
把 token 的深层状态反馈到浅层并与后续 token 流水并行；固定版收益有限，自适应版训练反馈系数后在特定任务上提升更大，但预填充成本和评估条件仍需注意。
MultiHashFormer
MultiHashFormer: Hash-based Generative Language Models
MultiHashFormer 以唯一多哈希签名和级联解码支持自回归生成，在 1B/3B 多数任务改善表现，并在 32K 到 48K 扩词表时不增加模型参数。
没有找到匹配论文，试试其他关键词或标签。