context-distillation

Nectar

Nectar: Neural Estimation of Cached-Token Attention via Regression

Nectar 以输出与归一化量双网络压缩静态文档注意力，随机问题接近完整缓存，但分布外问题和离线训练成本限制适用范围。