深度神经网络等人工智能技术应用到了社会生活的各个领域,并取得了重大的进展,如语义分析、军事应用、图像识别、动作捕捉和语音识别等。然而训练深度神经网络模型需要花费大量时间,有些复杂深度神经网络模型在单个计算设备独立训练需要几天的时间,还有些神经网络模型在单个计算设备训练时会出现内存不够的情况。为了减少深度神经网络的训练时间,本文将重点关注深度神经网络训练加速技术的研究与实现,包括基于混合精度训练的并行优化器技术、基于异步并行的神经网络训练加速技术和深度神经网络训练加速系统的设计与实现三个方面。首先,针对深度神经网络训练的计算数据量大和内存冗余问题,提出了一种基于混合精度训练的并行优化器设计。研究了混合精度训练中精度转换以及优化器权重衰减的问题,设计了一种切分优化器参数的并行优化器,在数据处理方面采取混合精度的方法,基于参数切分实现了并行训练。通过初步实验对所提出的方法进行了评估,验证了该加速方法的有效性。然后,针对并行训练的负载不均衡、短板效应以及梯度延迟问题,提出了一种基于数据并行的异步并行训练方法。根据数据切分结果,各个计算设备独立进行计算,设计了相应的通信机制,完成信息传递以及实现权重更新。通过实验对所提出的方法进行了评估,验证了该方法的有效性。最后,基于前序研究的方法,设计并实现了深度神经网络训练加速系统,提供了模型选取、优化器选择、学习率等超参数调整等功能。在前端提供了训练加速应用模块,将模型以及参数信息保存为二进制文件,通过直接读取二进制文件来完成前后端功能的实现,能够为用户提供直观方便的深度神经网络训练加速。