随着人工智能科学理论和工程技术的日益发展,机器学习作为人工智能领域的重要组成部分的地位越来越凸显。数据、模型、优化算法是机器学习的三个重要部分,而优化算法又是机器学习领域研究的关键部分,设计收敛速度更快、收敛效果更好的优化算法对推动机器学习领域理论研究与技术发展至关重要。本文主要研究了机器学习优化领域的一个基本问题——经验风险最小化问题。经验风险最小化问题可以表示成很多凸损失函数的平均,在一般的优化问题中采用全梯度下降算法（Full Gradient Descent）,即沿着损失函数梯度平均的反方向进行学习率的更新,可以有效快速地找到全局最优值点。然而,在大规模机器学习的应用场景中,受到计算资源和计算时间的限制,在每次迭代过程中对所有的样本损失函数进行梯度的求解变得不切实际。因此,随机梯度下降算法（Stochastic Gradient Descent）,即每次迭代过程中随机性地采用一个样本损失函数来进行学习率的更新来替代计算全部损失函数的梯度的方法,在工程实践中逐渐受到重视,得到了越来越多的应用。随机梯度下降算法虽然解决了迭代求解计算效率的问题,降低了计算资源的开销,但是由于每次迭代过程只是随机性地选取一个样本损失函数,带来很多噪声,导致收敛的准确度不高,下降的过程非常曲折,一般情况下只能收敛到局部最优点。面向大规模学习场景下经验风险最小化的全局最优点求解问题,本文提出了一种加速的、具有方差约减的随机梯度下降算法Point-SVRG,实现快速、有效收敛到全局最优值点。（1）与传统的随机梯度下降算法不同,Point-SVRG运用了控制变量法的降方差的思想,在迭代过程中可以达到方差逐渐约减的效果,最终收敛到全局最优值点。同时,Point-SVRG对SVRG（Stochastic Variance Reduced Gradient）算法框架做了很大的改变。在内循环迭代过程中,Point-SVRG把对随机选取的损失函数求梯度换成了求解临近点算子,解决了一些损失函数难以求梯度的问题。借鉴临近点算法（Proximal Point Algorithm）的思想,Point-SVRG对损失函数施以未来点的梯度下降,可以达到加速的效果。相比较于当前流行的加速方法,Point-SVRG只有学习率这个单一参数需要进行调整,在实际应用过程中更易于实现,显示出本算法良好的应用前景。（2）本文对新设计的算法框架进行理论分析和横向对比,用严格的理论推导证明改进后的算法能够达到非常好的收敛效果:在强凸函数条件下可以实现线性收敛。（3）本文的最后对新设计的算法进行实现,与其他经典算法进行实验比较,实验的结果表明了新设计的算法的优势。