gradient-bottleneck

CPLM

Copy-Paste Language Models

CPLM在常规语言模型头之外加入可训练的上下文复制指针，通过额外梯度路径改善预训练，并使滑窗模型以较小缓存获得长距检索能力。