随着大数据时代的来临,深度学习技术的浪潮席卷了包括图像分类、语音识别、自动驾驶和内容推荐在内的多个应用领域。但是,数据量和神经网络模型复杂性的增加带来了巨量的计算开销,导致单机训练速度缓慢。基于参数服务器架构,在多个节点上分布式训练深度神经网络模型是一种行之有效的加速方法。由于神经网络模型训练的迭代性质,不同的计算节点之间需要频繁地进行通信以交换大量的数据,这就导致通信开销成为分布式训练中的关键瓶颈。随着集群规模的增长,通信开销会急剧地增加。尤其是使用高性能硬件加速器时,通信时间占整体训练时间的比例会进一步增加,这极大地削弱了分布式训练的优势。因此,我们需要克服通信瓶颈,优化训练过程中的网络通信开销。为了削减分布式训练过程中的通信开销,研究者们从各种角度提出了不同的优化方法和策略。这些方法按照优化的角度不同,可以大致分为网络流量调度和网络通信执行优化。网络流量调度优化主要包括降低通信频次、梯度压缩以及计算通信重叠等方法;而网络通信执行优化主要包括参数通信架构优化、高性能通信消息库以及网络协议优化。其中,梯度压缩通过有损压缩技术,能够在尽量不影响模型收敛精度的情况下,有效地降低节点之间传输的梯度数据量。本文基于梯度压缩技术,从以下两个方面进行分布式训练的通信优化。一方面,本文主要探索了不同大小的张量使用梯度压缩技术后的通信加速效果。我们发现,对于某些较大的张量,使用梯度压缩技术够加速它的传输;而对于那些较小的张量,由于梯度压缩引入了额外的计算操作,因此使用梯度压缩后反而会使其通信速度变慢。基于此发现,我们提出了一种基于张量大小的选择性梯度压缩（Flex GC）算法。通过一个预设的阈值,Flex GC算法对大于该阈值的张量进行压缩传输,对小于该阈值的张量不进行压缩。实验表明,相比于传统的梯度压缩算法,Flex GC不仅实现加速,还提高了模型的收敛精度。另一方面,梯度压缩技术只能够优化参数服务器架构中的梯度推送阶段,对于参数拉取阶段,梯度压缩无法实现有效的通信优化效果。为了优化参数拉取阶段的通信开销,本文从参数拉取操作的执行频率入手,提出了一种压缩推送和延迟拉取（CPDP）的同步机制。CPDP通过适当地降低参数拉取操作地频率,实现通信优化。然而,我们发现CPDP在多节点、大batch size的情况下收敛性较差。为此,我们同样使用基于张量大小的选择性压缩思想提出了Flex CPDP算法,它对一部分参数不执行延迟拉取而对其它参数执行延迟拉取。实验表明,Flex CPDP能够有效地提升使用CPDP算法训练的模型的收敛精度。