随着科技不断发展及理论基础日益成熟,深度神经网络(Deep Neural Net-work,DNN)目前已被广泛应用于众多领域,并且为各自领域带来突破性进展。在自然语言处理(Natural Language Processing,NLP)方向,相较于传统机器学习方法及概率模型,循环神经网络(Recurrent Neural Network,RNN)在训练时序序列方面取得极佳效果,并迅速应用于语音及自然语言理解等领域。同时,多核处理器及深度学习专用加速卡等高性能处理器的发展,进一步推进了基于神经网络模型的研究与应用。本文主要基于GPU平台,对如何提升循环神经网络模型的训练准确率及训练速度进行研究,并针对此两方面进行算法设计及优化,从而提升语音识别、机器翻译模型等实际应用训练效果。本文主要工作内容和成果包括:(1)针对语音识别应用及其模型,提升模型训练准确率及训练速度。通过对其训练数据进行重新组织,提升其模型训练速度;针对时序序列特征,改进数据规范化算法,减少数据漂移,达到均匀分布。在训练过程中,结合调整学习率、隐藏层神经元数量和参数更新算法等调参方法,最终在相同训练阶段内提升训练准确率。(2)针对机器翻译应用及其模型,提升模型训练速度。基于机器翻译预测模型,通过对模型进行并行算法优化,充分利用计算资源,将原单句训练变为多句训练,在保证翻译质量情况下,提升单句训练速度。(3)提升基于GPU循环神经网络模型训练速度。通过编写高效CUDA计算内核,提升计算效率;通过改善GPU显存重用率,增大单次训练样本数,充分利用计算资源,提升训练速度;基于GPU硬件计算单元,通过低比特量化方法对模型参数进行量化存储,减小参数存储规模,同时使用混合精度方法进行微调训练,从而对模型进行加速计算。本文通过对循环神经网络及相关应用模型结构的深入理解,结合深度学习框架,基于GPU平台,设计并实现了循环神经网络优化算法,同时充分利用硬件特性,有效提高了语音识别模型及机器翻译模型训练准确率及训练速度,为后续研究奠定基础。同时,本文所有工作已应用于科大讯飞实际应用中,向有效提升了模型准确率及训练速度,从而推动其应用开发进程。