自2006年深度学习的概念被提出以来,随着计算机硬件的不断革新,深度学习技术也得到了长足的发展。深度学习的相关应用越来越多的出现在人们的工作与生活中,例如常见推荐系统、智能语音、量化操作以及自动驾驶等。一个优秀的深度学习项目往往都是基于一个优秀的深度学习模型,而对于一个完整的模型通常包括网络、算法、数据等。一般情况下,当网络结构和数据样本固定时,一个好的优化算法往往意味着一个更加令人满意的实验结果。在深度学习的优化算法中,基于SGD算法衍生出的自适应梯度算法是一类十分简单且流行的算法,因此这一类算法仍然是TenserFlow、Pytorch等深度学习框架中的主流优化算法。作为深度学习中主流的优化算法,自适应梯度算法是基于反向传播以及梯度下降法产生的。在实践中,我们通常会根据梯度的阶数,将基于梯度的优化算法分为:一阶优化算法以及二阶优化算法。虽然二阶算法往往有着更快的收敛速度,但同时也伴随着巨大的计算量和存储量,因此一阶优化算法仍然是目前的主流算法。在基于梯度的一阶优化算法中,Adagrad、Rmsprop以及Adam算法是其中的杰出代表,因它们极为优秀的实验表现吸引了大量的研究者对自适应梯度算法进行研究。然而,当前对于自适应梯度算法的理论分析大多是以满足凸或强凸条件为前提,但深层神经网络的目标函数往往都是非凸的,因此考虑非凸条件下自适应梯度算法的收敛性分析具有重要的理论价值与现实意义。本文的前两章是对基础知识和基本概念的介绍。在第三章中我们主要分析了非凸条件下常见的自适应梯度算法的收敛性,给出了几种自适应算法在非凸条件下的收敛性证明,并结合数值实验比较了这几种算法的实验性能。在第四章前半部分,我们对传统的Rmsprop算法进行了一定的改进,提出了Rmsprop-Norm算法以及添加正则项的RmspropW-Norm算法,分析了这两种改进算法在非凸条件下的收敛性,并在RmspropW-Norm算法的分析过程中得到了可训练参数有界的结论。在第四章的后半部分我们提出了一种广义的自适应梯度算法,分析了其算法收敛性并给出一个较为直观且易于检验的算法收敛性的充分条件。在数值实验中,我们对比了两种改进算法的与原算法Rmsprop的实验结果,验证了所提出算法的有效性。