language-model

MLPMemory

MLP Memory: A Retriever-Pretrained Memory for Large Language Models

把 kNN 检索词分布蒸馏进独立 MLP，以概率融合增强语言模型知识利用并降低在线检索延迟。