以支持向量机等为代表的结构风险最小化问题是机器学习领域中的一类重要问题。这类问题具有通用的结构,也就是目标函数都是有限和函数加上一个正则化项的形式。基于梯度下降的一阶算法是目前解决这类问题的常用算法。在有限和函数规模过大的情况下找到高效的求解算法是一个重要的研究问题。自适应随机梯度下降算法作为一个随机梯度下降算法的改进,在迭代选取样例的过程中根据一个特定的分布p,并且给出了一种有效的停机准则。新的停机准则可以使得支持向量机模型的样例规模过大时能够在较早期停止迭代。当正负样例不平衡时,由于分布p的存在,可以调整分布使得算法较好的适应非平衡数据。对于有限和函数非凸并且正则化项非光滑的情形,带有加速正则化项的基于方差减少的随机梯度下降算法在求解时分两步来进行处理。第一步处理非凸的有限和部分。该算法能够有效利用目标函数的非凸参数,使得每次迭代时目标函数从非凸函数转化为强凸函数再进行求解。该算法对于加速正则化项的改进很好的处理了原目标函数与带有加速正则化项的新的目标函数之间的差异问题,从而使得求解带有正则化项的新问题所得的近似局部最小解仍旧是原问题的近似局部最小解。第二步,对于非光滑的正则化项无法求导的问题,该算法采用近端梯度算子来处理。根据所提出算法梯度估计的方差界,可以给出了为了求得满足E[||Fη(x)||2]≤ε的自变量所需要的迭代次数的估计。进而可以得出算法的计算复杂度为O(n+n/ε)。数值实验证明了所提出算法的有效性。