近年来,新技术的迅速发展导致数据规模的空前增长。机器学习（Machine Learning）算法正越来越多地用于分析数据集和建立决策系统,以此去解决一些因其复杂性而导致算法解决方案不可行的问题。比如自动驾驶汽车,语音识别或预测消费者行为（推荐系统）等等。复杂的机器学习模型以及更大规模的数据集,使得其在单机下的模型训练时间增加,甚至于无法进行训练。使用分布式系统的强大算力便理所当然成为一种直接,简单的问题解决途径。如今,强大的计算机集群已经用于在大型数据集上训练复杂的深度神经网络（Deep Neural Network）。但在大规模集群环境下,常用的分布式同步随机梯度下降算法需要频繁的节点通信,以此来保证梯度（参数）的一致性。这也导致了通信带宽成为了制约分布式机器学习系统一个关键因素。本课题既是针对上述问题,探索在保证一定的模型精度条件下,如何实现通信高效的分布式机器学习,以此提高集群算力的使用率。具体而言,本课题针对目前在深度学习中常用的随机梯度下降（Stochastic Gradien Descent,SGD）优化算法,在充分调研目前已有的相关研究工作后,主要进行了如下三个工作:（1）在基于梯度量化和梯度稀疏化方法的特点,在梯度压缩方向进行了相关研究,提出了基于分布式随机梯度下降算法的混合梯度压缩策略。（2）分析了已有算法的复杂度以及模型训练时梯度的分布规律,提出了一种低算法复杂度、低通信复杂度的分布式优化算法。（3）针对本地随机梯度下降（Local SGD）算法,针对其算法存在的随着本地更新周期τ的增长,模型精度下降严重的问题,进行了相关的研究并引入了相关的更新机制,在一定程度上提高了算法的扩展性能。以上三个工作,均在搭建的GPU集群环境下进行了代码实现和实验验证。