RESEARCH LIBRARY
tokenization
按标签浏览论文。
共 3 篇论文 · 按研读更新时间排序
TokenRobustness
Language Models are not Equally Robust to Non-Canonical Tokenization across Languages
同文不同合法切分会造成语言与任务相关的性能退化；英语分桶多切分训练提高跨语言 ARC 准确率，但未消除相对分词差距。
zip2zip
zip2zip: Inference-Time Adaptive Tokenization via Online Compression
zip2zip 通过在线字典、动态向量与压缩语言建模减少输入输出 token，但数值推理与部分翻译质量存在显著代价。
EndOfToken
Breaking the Token Ceiling: Distilling Smaller, Stronger Byte Models
EOT 用显式 token 边界精确转换教师分布；字节学生后期改善更快，4.0 个百分点的领先属于缩放律渐近外推，需结合验证集敏感性与推理成本解读。
没有找到匹配论文，试试其他关键词或标签。