随着互联网的飞速发展和智能手机等终端的普及,互联网上的图像数据呈现出指数级的增长趋势,这些图像涵盖了人类生活的各个方面,包含了大量的有用信息。图像分类是利用这些信息的重要手段,有利于解决现实场景中的很多问题,在图像检索、场景识别、人机交互等方面都有着广阔的应用前景。卷积神经网络凭借其优异的特征提取能力,被广泛应用于图像分类领域。由于现实任务场景越来越复杂,为了满足需求,网络模型的规模也在不断增大,导致训练一个深层网络非常耗时。因此如何设计高效的卷积神经网络以及如何加速神经网络的训练成为深度学习领域的重要研究课题。本文以图像分类为背景,选取典型的卷积神经网络DenseNet作为研究对象,对利用DenseNet进行图像分类的方法和分布式并行训练算法进行了研究。DenseNet通过特征复用的方式减少了模型的参数量,并且能取得很高的准确率,但是模型的可扩展性不高,而且频繁的特征图拼接操作也使模型在训练过程中占用了过多的显存。同步数据并行是最常使用的并行训练方法,在每个迭代过程中计算节点与参数服务器之间需要进行通信,以交换梯度值,当网络模型的参数规模较大或网络带宽受限时,通信时间容易成为瓶颈,极大地影响了模型的训练速度。本文首先针对DenseNet模型的缺点提出了改进策略,通过改变模型中特征复用的方式,降低了模型参数量,并基于改进后的模型设计了三种不同结构的卷积神经网络,分别在MNIST和CIFAR-10数据集上训练,取得了很高的准确率,实现了图像分类功能。实验结果表明,本文提出的改进策略能在取得相同准确率的前提下显著降低模型的参数,提高参数效率。其次,针对同步数据并行中的通信瓶颈问题,提出了一种基于梯度量化的优化算法。该算法通过逐层更新参数,将一部分计算时间和通信时间重叠;在计算节点向参数服务器上传梯度信息前,对梯度值进行量化和编码,减少通信的数据量;为了降低量化产生的梯度损失对模型收敛速度的影响,在各节点更新参数时加上量化误差,并且每经过几次迭代后将各节点参数进行平均。实验结果表明,相比于传统同步数据并行算法和SSP算法,本文的优化算法在保证准确率的前提下,可以有效提高模型的训练速度,缓解了分布式训练中的通信瓶颈问题。