grokking

SoftmaxFix

A Fix for Softmax and Cross-Entropy

通过重排 softmax 和交叉熵的浮点计算，保留高置信度与近教师蒸馏时的微小梯度，并消除所测任务中的 Slingshot 尖峰和学生漂移。