近年来,卷积神经网络在机器学习与计算机视觉领域取得了巨大成功,如图像分类、语义分割、目标跟踪、对象检测等领域。由于巨大的存储占用以及计算开销,使得卷积神经网络在移动端的应用受到严重限制。网络压缩逐渐成为热门领域,许多研究人员提出了很多有效的压缩方法,如低秩分解、量化、网络剪枝、知识蒸馏等。本文为了压缩与加速卷积神经网络,提出了三种网络压缩方法,主要工作与贡献如下:1.提出了基于随机梯度稀疏优化的通道剪枝算法对于参数规模巨大的卷积神经网络,网络剪枝是较为直接有效的压缩方法,本文提出了利用随机梯度稀疏优化算法进行网络的参数更新,在训练过程中采用硬阈值算法计算通道权重的L1范数,并利用软剪枝将范数值较小的通道权重赋0,最终在训练结束时对网络进行硬剪枝,便可以得到一个性能与原始网络性能相当,同时还可以实现加速推理的剪枝网络。在对Res Net56网络剪枝63%浮点运算率时,准确率相较于原始网络精度仅下降0.94%,达到了压缩与加速的目的。2.提出了结合知识蒸馏的随机梯度稀疏优化通道剪枝算法在网络压缩的移动端应用中,往往剪枝后的小型网络才能满足计算资源的限制,而剪枝小型网络往往会带来精度的急剧下降,本文提出了结合知识蒸馏框架的通道剪枝算法,正常剪枝流程中采用基于随机梯度稀疏优化算法的通道剪枝方法,但是在训练中利用教师网络提取到的特征来指导被剪枝的小型网络的训练。通过在Res Net与VGG网络上剪枝40%浮点运算率的实验表明,应用知识蒸馏框架可以使得剪枝模型提高0.3～4.25%的准确率。3.提出了利用通道冗余度进行结构化剪枝算法在网络剪枝中,如何根据设定的剪枝标准选择不重要的通道进行剪枝是关键一步,本文提出了利用KL散度来衡量通道之间的相似度,相似度较高的通道则为冗余通道。针对一个预训练网络,本文根据通道之间的KL散度直接剪枝冗余通道,然后微调剪枝网络直到达到一个较为可观的性能。通过对Res Net网络进行结构化剪枝,利用KL散度挖掘卷积层中的冗余通道,在剪枝率为10～30%时,剪枝网络性能相较于原始网络性能甚至能提升0.4～0.6%。