随着科技的发展,人类来到了大数据时代,为缓解单机机器学习训练对庞大训练数据的乏力,分布式机器学习应运而生,分布式机器学习在应对复杂数据、模型准确率提升、应用领域的扩展等方面具有良好的效果。而目前,主流的分布式机器学习框架可分为数据并行和模型并行以及混合并行几类,在数据并行领域中参数服务器技术是一大热门研究。参数服务器负责全局模型聚合、更新全局模型以及通信任务,计算节点则负责机器学习模型的训练。在训练过程中,参数服务器中的模型聚合策略和计算节点中的训练算法是影响全局模型准确率的重要因素。分布式机器学习中,模型的收敛敏感性直接影响了模型训练的收敛速度和训练精度。在计算节点中,以随机梯度下降法为代表的随机优化算法存在训练早期收敛震荡幅度较大的现象,降低了收敛过程中模型的收敛敏感性,使得模型训练的收敛速度存在提升空间。利用分布式计算环境中子模型较多的特点,可利用其他子模型来降低收敛过程中的震荡幅度,从而提升收敛效率。在参数服务器中,模型聚合策略会间接地影响算法收敛敏感性。在模型聚合的计算过程中,子模型在全局模型中的梯度贡献度应具有差异,使全局模型能够尽量多地吸收不同子模型的数据特征。数据并行领域中常用的模型平均法聚合策略采用子模型全平均的方式来计算全局模型,模型平均法的聚合过程忽略了子模型对全局模型梯度贡献度的差异,降低了收敛敏感性,从而导致了收敛效率和训练精度降低。针对以上问题,本文研究了分布式机器学习的训练算法和模型聚合策略,面向训练算法和模型聚合分别提出了并行随机梯度下降方向重排算法和加权平均模型聚合策略,并根据这两个创新点实现了分布式机器学习框架Paradise。本文的研究内容主要有以下几个部分:(1)分析随机梯度下降法的收敛过程中梯度震荡对收敛敏感性的影响,并定义震荡幅度作为指标来量化影响程度。利用分布式计算环境中其他不同梯度的子模型来调整本节点内子模型的梯度下降方向,从而可以使全局模型的下降方向更靠近全局最优的方向,改善模型的收敛敏感性。基于此思路,本文提出了并行随机梯度下降方向重排算法,能够有效改善模型的收敛敏感性,提高模型的收敛速度,并通过理论对其收敛性进行了证明。(2)对主流分布式机器学习框架中常用的模型平均法聚合策略进行分析,针对策略中子模型梯度贡献度相同的问题,在模型平均法上作出改进,提出了梯度重要性感知评价模型以利用子模型梯度重要性的不同来对全局模型的梯度贡献度差异化。基于梯度重要性感知评价模型提出加权平均模型聚合策略,以梯度重要性感知评价模型的输出指标作为权重进行加权模型聚合,实现能够对子模型在全局模型中梯度贡献的差异化,提高了模型的收敛敏感性,从而提高了收敛效率和训练精度。(3)基于并行随机梯度下降方向重排算法和加权平均模型聚合策略实现了面向数据并行的分布式机器学习框架Paradise。并在Paradise中对上述创新点进行了实验验证,实验结果验证了本文提出的训练算法和模型聚合策略可有效改善模型的收敛敏感性。