在训练机器学习和深度学习的模型时,梯度下降算法是一个用得非常广泛的优化方法。然而梯度下降算法收敛速度非常慢,因此许许多多的加速算法被提出用来加快收敛速度,比如动量法(momentum)。基于梯度下降算法、Polyak动量算法和Nesterov加速梯度算法的研究,本论文发现当目标函数是比较简单的二次函数情形时,它们都可以由同一初始点收敛到最优点,只是收敛步数不同而已。结合二次函数收敛性质,Nesterov加速梯度算法迭代步骤中的姐妹序列,以及神经网络中的平行切线法,我们提出了三步加速梯度算法。同Nesterov加速梯度算法不同的是,我们的算法拥有三个序列而不是姐妹序列。通过二次函数的实验我们得出三步加速梯度算法比其它三种算法收敛步数都要少。我们又将二次函数的维数增高许多来验证我们算法的优越性。我们还将其扩展到非二次函数情形,采用了 CUTE函数集中的FLETCHCR函数,结果显示我们算法的收敛速度更快,动量参数的取值范围也更广,即算法更稳健。然后我们将三步加速梯度算法融入到深度学习反向传播算法和随机梯度算法中,重写了 R软件包neuralnet,命名为supneuralnet。利用supneuralnet包可以计算本论文中所有有关深度学习的算法。最后利用四个案例展示出我们的算法比其它算法更优。