parallel-training

SMT

Pretraining Recurrent Networks without Recurrence

SMT通过并行教师的预测记忆标签训练非线性RNN单步更新，并用DMT校正滚动漂移，改善长程学习与串行计算效率。