gated-delta-net

FG2-GDN

FG$^2$-GDN: Enhancing Long-Context Gated Delta Networks with Doubly Fine-Grained Control

FG²-GDN 以通道级写入率补足 KDA 的通道级遗忘，并以对称缩放保留并行结构；FG²-GDN+ 在 RULER 与 LongBench 聚合分数最佳。