随着人工智能在科技革命中扮演着越来越重要的角色,深度学习作为一种重要的学习模型被广泛关注。深度学习的基础核心思想是求解最优化问题,因此越来越多的人开始关注最优化算法。其中加速梯度算法是指在仅使用一阶梯度信息的前提下,比传统的梯度下降法有更快收敛速率的算法。首先,本文主要是介绍了 Nesterov加速梯度算法。它在仅使用一阶梯度信息的前提下具有最优的收敛速率。由于优化算法可以与常微分方程建立等价关系,所以现在人们开始通过常微分方程的方法理解Nesterov加速梯度算法的加速原理,并且拉开了离散常微分方程得到优化算法的帷幕。其次,本文改进了辛离散格式,对Nesterov加速梯度算法所对应的高精度常微分方程进行离散化,得到了新的加速梯度算法,并通过实验证明,在相同的计算复杂度的前提下,新的加速梯度算法比辛格式算法收敛速率更快。最后,本文针对惯性动力系统,采用三种离散格式:辛格式、显式Euler及隐式Euler,分别对惯性动力系统进行离散化,得到了三种不同的优化算法。本文通过构造合适的Lyapunov函数,证明了当目标函数为μ-强凸函数时,惯性动力系统的指数收敛速率可以转变为离散格式下的线性收敛速率,并且由辛格式和隐式Euler得到的优化算法被证明是加速梯度算法。