depth-scaling

DepthBench

DepthBench: Measuring How Residual Connections Enable More Computational Depth

DepthBench揭示残差设计改变宽深分配收益：Full AttnRes与HC改善深度利用，但存在规模、最佳深度与系统成本的取舍。