training-efficiency

SimpleHC

On the Design of Hyper-Connections: Simplification, Stability, and Scalability

SimpleHC 以学习读写门、恒等残差传递及跨四个子层共享状态访问，在 15B/30B MoE 上保持接近 mHC 的质量，并将最大测试宽度的训练时间额外开销降至 2.4%。