随着机器学习算法模型规模和数据量的高速增长,单个节点不能够有效的承担大规模训练所需的计算和存储需求,因此在分布式集群中运行大规模机器学习算法已成为常用方法。分布式机器学习关键在于如何解决划分训练数据、分配训练任务、调配计算资源、整合分布式的训练结果等问题,以达到训练速度与训练精度的平衡。因为现在大规模机器学习领域的主要矛盾仍然是训练数据量过大导致的训练速度缓慢,所以目前常用的分布式机器学习方法是采用数据并行的方法,以解决机器学习训练数据过多的问题。分布式机器学习通信策略中较常用的是整体同步并行策略,但整体同步并行策略中分布式机器学习的训练速度受制于集群中最慢的计算节点,导致模型训练速度过于缓慢。针对以上问题,学术界提出了另一种参数通信调优策略:异步并行策略,这一策略最大程度上利用了集群的计算性能,却导致全局模型参数更新变得延迟与不统一,这会使得模型收敛受到影响。针对上述两种通信策略存在问题,对分布式机器学习的通信策略进行相关研究,主要内容如下:1.将同步并行策略与异步并行策略进行结合,在实验中模拟各节点计算速度不均衡的情况,并通过算法将节点根据计算速度分为不同的组,对同组内的节点采用同步并行策略进行训练,对于不同小组则采用异步并行的方式进行训练。通过这种分组的方式可以降低组内节点的同步开销,并且由于每一组的节点对全局参数进行更新时都聚集了多个节点的计算结果,所以能降低异步并行所带来的对模型收敛变慢的影响。通过相关实验对比,在节点速度不均衡的情况下,混合并行策略能够达到优于同步并行策略与异步并行策略的性能。2.由于分布式集群中节点存在资源竞争、机器性能差异以及意外故障等问题,因此会出现落后节点的情况,使得运行于该节点的任务所需时间显著高于其他节点。当出现严重落后节点时,同步异步混合并行策略的表现并不是非常好。因此将梯度编码技术引入混合并行策略的小组内,并提出新的分组策略。通过相关实验证明,梯度编码技术能够降低落后节点在分布式机器学习中的影响,从而进一步加快分布式机器学习训练速度,提高整个模型的训练效率。