论文部分内容阅读
随着训练数据集的增大和神经网络的日益复杂,训练深度神经网络非常耗时,在有效的时间内训练深度神经网络成为一大挑战。卷积神经网络具有网络参数分布不均匀的特点。提出一种同时使用数据并行和模型并行的卷积神经网络并行方法,并基于国产超级计算机系统和深度学习框架Caffe进行实验。实验结果表明,对某些全连接层,使用模型并行相比使用数据并行加速可达33倍。