language-modeling
按标签浏览论文。
zip2zip
zip2zip: Inference-Time Adaptive Tokenization via Online Compression
zip2zip 通过在线字典、动态向量与压缩语言建模减少输入输出 token，但数值推理与部分翻译质量存在显著代价。
ContinuumAttention
Continuum Attention
CA 将相邻 key/value 线性插值并用闭式指数矩精确积分，在匹配温度的小模型和 101M 多语言评测中改善 NLL/BPB，但仍保持二次复杂度且跨域表现有差异。
StateLoop
StateLoop: Persistent State for Looped Transformers
StateLoop在共享Transformer主干之外为每个token加入跨循环深度持续更新的门控状态，改善语言建模困惑度与平均下游准确率，并以消融隔离持久性的贡献。
NCM
Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation
NCM以多尺度残差离散代码组织粗到细的并行文本生成，在多个任务以更少采样调用取得竞争质量和显著推理加速。
LowBitNGram
Low-Bit N-Gram Embeddings for Language Models
逐行缩放的4-bit n-gram表节省约75%表内存并保留99%以上原表收益，2-bit扩表还能以约半数内存超过原表。
CPLM
Copy-Paste Language Models
CPLM在常规语言模型头之外加入可训练的上下文复制指针，通过额外梯度路径改善预训练，并使滑窗模型以较小缓存获得长距检索能力。
MultiHashFormer
MultiHashFormer: Hash-based Generative Language Models
MultiHashFormer 以唯一多哈希签名和级联解码支持自回归生成，在 1B/3B 多数任务改善表现，并在 32K 到 48K 扩词表时不增加模型参数。
DeltaProduct
DeltaProduct: Improving State-Tracking in Linear RNNs via Householder Products
DeltaProduct 以每 token 多次 Householder 更新增强状态追踪与语言模型外推，保留转移范数界，并呈现依任务及预算变化的性能取舍。
LangFlow
LangFlow: Continuous Diffusion Rivals Discrete in Language Modeling
LangFlow 以交叉熵后验匹配、信息均匀的 Gumbel 调度和自条件连接连续流与语言建模，在 130M 规模上达到强离散扩散的竞争水平，并提供 ODE 负对数似然上界。
SEDD
Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution
SEDD 用去噪 score entropy 学习离散概率比，将可扩展训练、似然上界与并行采样统一，吸收态版本在 GPT-2 规模文本建模中表现出竞争力。
M2RNN
M$^2$RNN: Non-Linear RNNs with Matrix-Valued States for Scalable Language Modeling
M²RNN以矩阵状态扩展非线性递推，单层替换改善7B GDN混合模型的语言建模与长上下文表现，并保留接近基线的训练吞吐。
FRAC
Fractional State Space Transition for Long Sequence Modeling
FRAC 以分数阶理论指导几何时间尺度库和选择性读写，改善固定状态模型的长上下文表现；实验写入规则采用稳定化改动。
没有找到匹配论文，试试其他关键词或标签。