论文部分内容阅读
深度学习已被广泛应用于各领域，尤其是大数据分析，然而深度学习所需的计算越来越复杂，规模也越来越大。为了加速大规模深度学习的训练，学术界已经提出了各种分布式并行训练协议。设计了一种新的异步训练协议——加权异步并行协议（WASP），以更有效的方式更新神经网络参数。WASP的核心是对“陈旧梯度”的处理，即基于参数版本号来衡量梯度陈旧性并减少陈旧梯度对参数的影响。此外，通过周期性强制同步模型参数，WASP结合了同步和异步并行协议的优点，可以快速收敛并提高模型训练速度。我们在天河二号超级计算机上使用两个经典卷积神经