pretraining
按标签浏览论文。
RepGeometry
Tracing the Representation Geometry of Language Models from Pretraining to Post-training
论文用协方差谱揭示预训练的塌缩、扩张与压缩，并比较 SFT、DPO 和 RLVR 的几何与行为变化。
DepthBench
DepthBench: Measuring How Residual Connections Enable More Computational Depth
DepthBench揭示残差设计改变宽深分配收益：Full AttnRes与HC改善深度利用，但存在规模、最佳深度与系统成本的取舍。
LPT
The Surprising Effectiveness of Shared Memory in Looped Transformers
LPT让后续循环共享首轮KV并保留短窗口，在减少缓存的同时改善质量；共享梯度路径支持记忆学习，计算与延迟仍随循环增加。
LoopLM-Conditioning
What Makes Recurrence Effective in Looped Language Models?
揭示循环深度的知识与推理取舍，并以历史状态差分和时间门控改善深度外推；收益依赖架构、参数化与推理预算。
Puro-2B
Puro-2B: Poor Lab's Qwen2-1.5B Trained on RTX 5090 within $5090
Puro-2B结合消费级GPU、FP8、MuonH与课程模型平均，在限定GPU成本口径下以约4.4K美元达到Qwen2综合分数，最佳6.9K美元模型保留后训练收益。
Efficient-DLM
Efficient-DLM: From Autoregressive to Diffusion Language Models, and Beyond in Speed
Efficient-DLM 以干净前文的分块注意力和位置相关遮罩实现 AR 到扩散模型的转换，在小 batch 下改善并行生成的准确率与吞吐量取舍。
DiscoLoop
DiscoLoop: Looping Discrete Embeddings and Continuous Hidden States for Multi-hop Reasoning
DiscoLoop在循环间保留连续隐藏状态并注入软解码嵌入，缓解桥接实体表示失配，显著改善受控多跳泛化并小幅提升预训练表现。
NCP-ArchPreview
NCP-ArchPreview Technical Report: Moving towards Latent Space Language Models through Next Concept Prediction
NCP-ArchPreview 在 8.94B/5.73T 规模联合预测 token 与概念，改善预训练效率并提供 17M 适配接口；中期训练的下游增益收窄且依赖任务。
ConceptLM
Next Concept Prediction in Discrete Latent Space Leads to Stronger Language Models
ConceptLM以分段码本和下一概念预测增强语言建模，小模型预训练收益较明显，8B增益有限；研读核对了公式与表格中的不一致。
TIDE
TIDE: Every Layer Knows the Token Beneath the Context
TIDE 用上下文路由逐层注入 token 身份记忆，改善低频词损失与平均任务表现，同时增加词表存储和解码开销。
没有找到匹配论文，试试其他关键词或标签。