机器学习作为人工智能技术的核心支撑受到了广泛的关注。数据规模不断增长,对最优化方法求解机器学习模型带来了新的挑战。本文以提高随机最优化方法在大数据条件下的收敛速度和精度为目标,针对随机梯度降噪算法计算效率低、自适应梯度方法泛化能力低、随机拟牛顿方法收敛速度慢、基于随机梯度下降的Lookahead方法调参要求高等问题,从随机梯度下降算法的弹性降噪、自适应梯度方法的边界调度、随机拟牛顿方法的降噪加速、Lookahead方法的学习速率调度等方面展开研究。论文研究的主要内容包括以下几个方面:传统随机梯度降噪方法的实现需要维护一个辅助信息,处理大规模数据集时存在两个问题:（1）存储或计算开销过大;（2）导致频繁的磁盘IO。针对该问题,本文提出了一种基于数据子集和历史梯度信息的弹性降噪方法FVR-SGD,能够降低传统降噪方法的额外开销,提高内存效率。FVR-SGD算法在实现降噪时不需要计算或存储全梯度信息,而是基于每个迭代周期的历史梯度信息实现降噪。在每个迭代周期FVR-SGD算法无需处理整个数据集,而是可以根据内存的大小灵活的将数据集分割成多个子集,每个迭代周期只需要处理一个子集,从而降低了磁盘IO,提高计算效率。在基于历史信息和部分数据实现降噪的同时,我们仍然证明了FVR-SGD算法具有线性收敛速度,并给出了收敛的具体条件。实验表明,与传统降噪方法相比,FVR-SGD算法可以降低计算开销并弹性适应内存,还能提高模型收敛速度,在处理大规模数据或复杂参数模型时更具优势。自适应梯度方法在训练复杂神经网络模型时存在收敛精度低、泛化能力弱等问题,本文基于自适应梯度提出了边界调度算法Bsadam,能够通过对自适应梯度进行限制和调度来提高收敛精度和泛化能力。Bsadam算法分析了可能导致自适应梯度方法泛化能力降低的各种因素,并针对这些因素提出了优化方案。为了避免极端学习速率对自适应梯度方法的收敛造成不良影响,Bsadam算法为自适应梯度方法的学习速率设置了一个合理的边界,从而保证算的收敛性能。为了提高自适应梯度方法的收敛精度和泛化能力,Bsadam算法根据自适应梯度方法在迭代过程中每个阶段的不同需求对边界进行调度。Bsadam算法首先通过不断提高学习速率下界来使自适应梯度方法寻找更好的极小值,然后再使学习速率上界不断下降来保证算法的收敛性能。实验表明,Bsadam算法在保持自适应梯度方法较快收敛速度的同时,还能提高自适应梯度方法的收敛精度,使自适应梯度方法具备更好的泛化能力。随机拟牛顿方法存在构建向量序列不稳定、算法收敛速度慢等问题,本文提出了一种基于多种降噪方法的随机拟牛顿加速方法,可以提高拟牛顿方法在随机迭代过程中梯度估计的准确性,有效提高构建向量序列的稳定性。随机拟牛顿方法由于相邻的两次迭代使用不同的数据来进行梯度估计,可能导致相邻两次计算得到的梯度存在较大的差异,从而使基于两次梯度差和权重差得到的向量序列出现抖动,进而导致算法更新方向出现偏差。本文提出了一个能够结合使用多种降噪方法的随机拟牛顿算法框架,在这个框架内随机拟牛顿算法可以使用SVRG、SAGA、SAG等多种降噪方法,使得算法在迭代时即使使用不同的数据进行梯度估计,也不会出现大的抖动,从而保证了更新方向的稳定。本文还进一步提出了一个无需额外计算和存储开销的轻量降噪方法,使算法在处理大规模数据集时更加高效。实验表明,基于降噪的随机拟牛顿加速方法能够在大数据集上取得明显的加速效果。基于随机梯度下降的Lookahead方法存在需要手工调参,收敛速度慢等问题,本文提出了一种基于学习速率调度的Lookahead加速方法,可以避免手工调参并能够提高收敛速度。使用学习速率调度只需要明确一个合理的学习速率区间,而不必寻找最优的学习速率,可以避免额外的调参开销。学习速率调度有循环调度和单周期调度两种方案。循环调度将整个迭代过程分为多个循环周期,每个循环周期内使学习速率由高至低变化,使Lookahead算法在每个循环周期内都具备越过局部极小值,收敛到附近最优解的能力,通过多个循环周期的训练最终使算法找到一个较好的极小值点。单周期调度将迭代过程分为两个阶段,第一个阶段使学习速率由低至高变化,是Lookahead算法能够更快的越过局部最优解,寻找更合适的全局最优解,第二个阶段通过不断降低学习速率使算法能够收敛的找到的全局最优解。实验表明,基于学习速率调度的Lookahead加速方法在收敛速度和收敛精度方面都得到了提升。