机器学习特别是深度学习,是人工智能领域的重要研究内容,人工智能应用正在得到飞速发展,例如自动驾驶、人脸识别等。然而,随着机器学习数据集以及深度学习模型规模的不断增加,单机通常需要几周甚至更久来训练机器学习模型。为了适应大数据时代的挑战,需要将传统机器学习分布式化,在多个节点上分散工作量,以加快机器学习的训练速度。当前,参数服务器系统是大部分分布式机器学习系统的实现方式。当使用参数服务器训练分布式机器学习模型时,节点之间需要通过通信来保证模型一致性。传统的分布式机器学习参数通信模型是整体同步并行通信模型（Bulk Synchronous Parallel）,该模型使用了同步屏障,工作节点到达同步屏障之后就会暂停训练,直到所有的工作节点都到达同步屏障后进行一次全局同步。这种模型使得训练最慢的工作节点会拖累整个集群的计算效率。异步并行模型（Asynchronous Parallel）和延迟同步并行模型（Asynchronous Parallel）解决了整体同步并行模型中存在的问题。异步并行模型中各个节点不进行同步,使集群性能被充分使用,但这过度利用了机器学习的有限容错性,最终会导致模型精度较差。延迟同步并行模型中训练最快的工作节点和训练最慢的工作节点之间的最大迭代差被延迟阈值限制,然而延迟同步并行模型也未完全考虑真实集群环境中的各种不确定因素,不能适应真实集群环境。针对分布式机器学习主流参数通信模型中存在的问题,本文提出了高效同步并行模型（Efficient Synchronous Parallel）和预测同步并行模型（Predicted Synchronous Parallel）,然后,本文实现了分布式机器学习框架Kanel,并且在Kanel上完成了高效同步并行模型和预测同步并行模型的实现。本文研究内容如下:（1）本文对当前主流分布式机器学习模型参数通信模型存在的问题进行分析,并提出了一种新的分布式通信模型,名为高效同步并行模型。该模型从优化参数服务器和工作节点之间通信时间出发,对通信时延进行了优化。该模型使工作节点有判别此次和参数服务器的通信是否高效的能力,如果工作节点判定此次模型交换是高效的,那么工作节点就会进行模型交换,否则工作节点就会放弃通信直接进行下一轮本地训练。对高效同步并行模型进行策略设计与算法实现后,在理论上对其进行了证明,验证了高效同步并行模型具有与整体同步并行模型相同的收敛性,能确保模型的最终收敛。最后,本文对高效同步并行模型进行实验,实验结果表明高效同步并行模型有着更好的性能。（2）针对延迟同步并行模型在真实计算集群中出现的问题,提出了预测同步并行模型。预测同步并行模型通过上一轮迭代各个工作节点的训练耗时计算出各个工作节点的性能从而预测出下一轮迭代集群训练情况并从中找到最优同步时机使得节点同步等待时间最短。为了进一步提升工作节点的计算效率,在预测同步并行模型中,快节点在进行同步等待时,也会使用本地模型和本地数据集进行机器学习训练,直到接收到新的全局模型参数。本文对预测同步并行模型的设计与实现进行论述,并证明了其具有与整体同步并行模型相同的收敛性。对预测同步并行进行实验,实验证明预测同步并行模型在保证模型收敛的前提下能加速机器学习训练。