理论上,深度神经网络优化可以看作求解高维空间中的非线性优化问题,因此,优化方法在深度学习中扮演重要角色。在基于随机梯度下降的学习方法中,梯度估计修正与学习率调整对于提高算法的收敛速度和稳定性具有重要的作用。本文基于一阶梯度信息的随机梯度法,从梯度估计修正与学习率调整出发,研究了降低随机梯度方差的一阶梯度算法与二阶拟牛顿算法,主要内容有:针对随机梯度法的高方差所带来的损失函数值震荡问题,本文基于随机方差衰减梯度法并对梯度估计采取加权平均策略和指数衰减策略,降低随机梯度方差;针对学习率调整问题,充分利用历史梯度信息对学习率进行自动调整,提出了自适应随机方差衰减梯度法。基于MNIST和CIFAR-10数据集,验证本文所提出的自适应随机方差衰减梯度法的有效性。实验结果表明,自适应随机方差衰减梯度法在收敛速度和收敛过程稳定性方面优于随机方差衰减梯度法和随机梯度下降法。针对高阶梯度优化方法在深度学习中的巨大计算量问题,本文给出了基于一阶梯度信息近似Hessian矩阵的L-BFGS方法,通过改变训练集的选取方式,给出了改进L-BFGS方法的多批量L-BFGS方法,保证了收敛过程的平稳性;详细分析了学习率衰减策略对多批量L-BFGS方法收敛速度与稳定性的影响,给出了两种学习率固定衰减策略。在数值算例中,基于MNIST和CIFAR-10数据集验证了多批量L-BFGS方法的有效性,相对于一阶优化算法,多批量L-BFGS方法在收敛速度与稳定性方面表现更佳。