近年来,深度学习作为一种新兴的信息技术广泛应用于各个领域。在某种确定的深度学习模型下,神经元连接处的参数大小决定了模型优劣,为了提高模型的准确性,在训练过程中需要对参数取值进行优化,其中涉及到的优化问题主要是对经验风险函数进行最小化求解。随着数据规模的不断扩大,传统的一阶优化算法已经不能有效解决经验风险最小化问题。随机算法是指在迭代的过程中随机选择一个或部分样本的损失函数梯度近似损失函数全梯度,以达到降低梯度计算量的目的。目前,随机算法已成为深度学习中优化问题研究的焦点,所以设计一种更加快速高效的优化算法是有必要的。本文的主要工作有:（1）本文首先介绍了两类一阶随机优化算法的思想和原理,探讨了不同算法之间的区别与联系。第一类为随机梯度下降算法及其改进算法,改进策略大致分为动量加速、方差缩减和自适应学习率三种。其中,前两种主要是校正搜索方向或梯度估计,第三种是对参数变量的不同分量自适应地设计步长。第二类为随机共轭梯度类算法。（2）本文以经典优化算法中常用的共轭梯度算法为基础,为了减少对梯度的计算量,我们对已有的随机共轭梯度算法进行改进,提出了一种新的方差缩减的随机共轭梯度下降算法（SCGA）,并通过理论证明和数值实验说明了新算法SCGA在求解经验风险最小化问题上的有效性。（3）我们考虑三项共轭梯度算法的优点,提出一类随机三项共轭梯度算法,并将这类算法与随机梯度类算法和已有的随机共轭梯度算法进行实验对比,数值结果表明新算法在收敛速率上快于随机梯度类算法,并且和已有随机共轭梯度算法表现相当。