近年来随着深度学习方法的发展以及GPGPU大规模并行计算技术的成熟，深度学习在学术界和工业界得到了广泛应用，2012年深度学习相继在图像分类和语音识别领域取得了突破性成果。在语音识别领域，相对于传统的GMM-HMM模型，基于深度神经网络（DNN）的语音识别系统获得了超过30％的相对性能提升。但是可能需要花费数个月的时间去训练一个DNN模型，基于反向传播算法的DNN训练过程巨大的计算复杂度使得DNN训练成为一个瓶颈。不像传统GMM-HMM模型的Baum-Welch训练，因为频繁的更新整个模型，基于minibatch的BP训练很难实现并行。　　本文实现了一个综合提高DNN训练效率框架，从三个层面系统阐述及实现了三种独立加速DNN训练方法，包括并行训练，模型裁剪以及优化DNN训练策略；提出了轻预训练深度模型初始化方法以及一种新颖的DNN训练策略。基于整个优化系统，能在20小时内完成典型的309小时Switchboard LVCSR训练任务，在10天左右的时间内完成商用系统中3600小时中文普通话LVCSR训练任务。实验显示使用两个GPU整个加速框架能够在最终识别性能不降的情况下降低70%的模型复杂度以及实现8倍左右的DNN训练加速。