ICL & Prompting
按研读更新时间浏览本主题的论文;一篇论文可属于多个主题。
Linear-ICL
What can linear attention learn from nonlinear teachers in-context?
简化线性注意力在高维无正则极限下仅利用教师的一阶 Hermite 分量,其余分量形成等效噪声;研读说明了图1的归一化问题。
ContextParamEq
Equivalence of Context and Parameter Updates in Modern Transformer Blocks
在输入与输出可控及非零条件下,上下文对当前查询的效应可逐层表示为秩一矩阵和输出端补丁;Gemma低精度计算需要稳定构造。
MemoryMosaics
Memory Mosaics at scale
Memory Mosaics v2 以自适应核检索、门控 key 与三层记忆扩展至 9.9B,在常规能力接近时改善长文档问答和匿名标签上下文学习。
Trace-as-State
Trace as State: Reasoning Traces as Conditional States for Long-Context Transformers
将首轮推理轨迹前置到长上下文重读,在多数指标上优于同轨迹后置;最强收益来自图父节点任务,并伴随额外推理成本。
ICL-Data
Data Distributional Properties Drive Emergent In-Context Learning in Transformers
局部重复、类别稀有性和动态映射促进上下文学习;Zipf 分布可使其与常见类参数记忆共存,但完整输出评估揭示选择限制。
JRT
Just read twice: closing the recall gap for recurrent language models
JRT 通过重复提示和非因果前缀编码改善有限状态模型的召回,收益依赖提示、填充及内核条件。
PartRep
PARTREP: Learning What to Repeat for Decoder-only LLMs
PartRep 用高 NLL 监督训练中间层门控,以选择性重复保留接近完整重复的平均收益,并降低相对完整重复的缓存与预填充成本。
SSM-Gating
On the Importance of Gating: Memorization vs. In-Context Learning in State Space Models
门控使 SSM 的参数记忆与上下文检索产生优化竞争,并在保留远处信号与抑制长上下文干扰之间形成取舍。
没有找到匹配论文,试试其他关键词或标签。