前馈型神经网络的求解大多属于非线性非凸优化问题,神经网络算法的日益流行使得在优化领域非线性非凸问题的求解问题研究变的更加重要。梯度下降算法是前馈型神经网络最常见的求解算法。即使在如今深度学习盛行的年代,该方法依然被用于深度神经网络的训练。算法简单、有效、易实现,但也面临一些缺点,比如易陷入局部极小、求解过程缓慢且不稳定。在本篇论文中,我们以梯度下降算法为基础,提出一种动态随机采样的梯度下降的方法,并从理论上证明该方法可以保证解的稳定性,并通过实验也验证理论结论。本文采用的是动态采样的方法,目的是实现真正梯度的一种无偏估计逼近来代替梯度,避免随机梯度产生的噪音影响。利用梯度估计来代替真实梯度虽然可以减少求解过程的计算量,但是由于梯度估计存在方差,也就导致了一定的不精确性。相比于随机梯度下降方法和小批量随机梯度下降方法,采用这种方法不仅可以减少求解过程的计算量,而且随着迭代次数的增加,动态采样算法的梯度估计也越来越稳定,梯度估计的方差最终会收敛到零。本文证明了该方法在求解非线性非凸优化问题时具有次线性收敛性。这种方法本质上就是减少了每次迭代时梯度估计的方差,从而加速算法的收敛,减少了迭代次数。相比于方差削减算法SVRG,本文的算法具有更快的前期收敛速度和更高的后期收敛精度。最后的实验部分给出了改进的动态采样算法在收敛速度,运行时间以及计算精度的表现。在一些常见数据集上的模拟实验证明了本文方法的有效性。