乘子交替方向法一般被视为机器学习领域中的一种优化算法,起源于20世纪70年代并在机器学习诸多领域中取得了令人瞩目的效果。乘子交替方向法在求解过程中与梯度无关并且对于参数初始化条件鲁棒,这些特性使得乘子交替方向法具有十分广泛的应用前景。随机梯度下降、Adam、RMSProp等优化算法的发展,为深度学习问题的求解带来了一定的便利。但是传统基于梯度的优化算法在训练过程中会收到梯度消失梯度爆炸等问题的影响。尽管乘子交替方向法在机器学习领域中成就斐然,但是其在深度学习中的应用与求解仍然需要进一步的研究。本文主要聚焦乘子交替方向法在求解神经网络中的应用。首先是利用乘子交替方向法求解循环神经网络。针对循环神经网络在求解过程中容易收到梯度消失和爆炸问题的影响,导致训练过程不稳定的问题。而且循环神经网络对于参数初始化较为敏感,较差的参数初始化可能会导致求解效果较差,甚至导致训练结果不收敛。本文从利用乘子交替方向法求解循环神经网络出发,提出了一个针对循环神经网络的新的训练框架:ADMMi RNN。我们分析了求解过程中的参数更新过程,并提出backward-forward的参数更新过程,加速了求解过程的收敛。同时,在MNIST和IMDb两个数据集上比较了ADMMi RNN和一些典型的随机梯度算法的实验结果。实验结果显示ADMMi RNN在MNIST和IMDb两个数据集上可以获得比传统随机梯度算法更好的准确度。我们在MNIST数据集上重复进行10次实验并比较在多次迭代中的方差,在每次实验中参数进行随机初始化,以这种方式探究ADMMi RNN在训练过程中的稳定性。实验结果显示ADMMi RNN具有更好的求解稳定性。本文第二个工作是并行实现了乘子交替方向法求解循环神经网络,并提出一个并行训练框架:P-ADMMi RNN,包括同步并行ADMMi RNN和异步并行ADMMi RNN。同步并行ADMMi RNN和异步并行ADMMi RNN算法实现了较原始ADMMi RNN算法的训练加速。本文最后一个工作针对神经网中非凸损失函数不易求解的问题,提出了一种神经网络非凸损失函数求解算法n-dl ADMM,能求解具有非凸损失函数的神经网络优化问题,可提高分类准确率。