科技的快速发展可以让人们获得大量数据,这些数据中包含着重要信息以及各种噪声,如何从数据中获得有用知识是机器学习现阶段最重要的事情。在机器学习中,数学优化是基础之一,几乎涉及该学科的各个方面。机器学习中的数学优化主要是对经验风险最小化问题进行求解,其中经验风险最小化问题是指函数模型预测的结果期望误差最小化。求解经验风险最小化问题本身是整个机器学习领域中的一大难题,所以设计一个快速高效的优化算法成为研究人员一直追求的目标。本文针对机器学习中的数学优化,首先提出一种用于求解经验风险最小化问题的优化算法,同时对机器学习中的结构风险最小化问题进行研究。本文的主要研究成果包括以下方面:(1)批量减数更新梯度下降算法(Batch Subtraction Update Gradient,BSUG)。为了应对由于随机梯度引入方差而导致不能线性收敛的问题,我们在已有方差缩减算法的基础上改进,设计了一个新的方差缩减算法。在训练过程中BSUG使用小批量样本代替全部样本进行平均梯度计算,同时对平均梯度进行减数更新。通过与其他方差缩减算法进行实验对比,表明BSUG算法收敛速度达到线性收敛。为了对算法进行稳定性探究实验,通过调整参数之间的关系与算法训练效果作对比。实验表明BSUG算法具有一定的稳定性,在批量较低的情况下也能达到足够的训练精度。(2)临近批量减数更新梯度算法(Proximal Batch Subtraction Update Gradient,Prox BSUG)。为了求解结构风险最小化问题,Prox BSUG算法在BSUG算法的基础上对目标函数添加正则化器,同时为了加快收敛速度在权重更新过程中使用临近算子计算。通过实验对比,表明Prox BSUG算法在不同数据集上都具有不错的训练效果。最后通过构建结构风险最小化问题,与其他优化算法进行对比,实验表明Prox BSUG算法在求解结构风险最小化问题上取得了较好的实验效果。