得益于大规模数据集和GPU高效的并行计算能力,深度学习技术在过去几年取得了飞跃式的发展。如今,深度学习在许多领域的性能都超过了人类表现,研发人员纷纷开始将这项技术产业化,智能音响、智能手机等一系列设备逐渐成为深度学习落地的首选。在过去很长一段时间,只有大型神经网络才能达到商用产品的性能要求。然而,许多设备的计算资源十分有限,无论从时间、空间还是能耗的角度,都无法满足大型网络的计算需求。为加速并压缩现有的神经网络,本文从以下三个方面开展研究工作:为找到卷积神经网络中需要重点优化的对象,本文首先统计了各个网络层的FLOPs以及Parameters。统计结果表明,卷积层是卷积神经网络中计算量最大的部份,而全连接层是参数占比最高的部份。接着,为了解模型压缩对精度的影响,本文又统计了 AlexNet的权重分布。实验结果表明,卷积层和全连接层中存在大量接近于零的参数,这部分参数对模型的贡献很小,因此可以在不影响原始精度的情况下压缩网络结构。在统计实验的基础上,本文提出了一种针对卷积操作访存连续性的加速策略。在深度学习框架Caffe中,卷积以矩阵乘法的形式实现。Caffe卷积包含两个主要操作,分别是im2col和gemm。im2col全称Image to Columns,这个操作主要负责展开输入图像。gemm是General Matrix-matrix Multiplication的缩写,它主要负责完成矩阵与矩阵之间的乘法运算。在以行优先的体系结构中,通过转置操作改变输入图像的数据排列,可以同时提升im2col和gemm的访存效率。实验结果表明,改进后的卷积加速比在40%左右。除了改进卷积操作,本文还针对模型尺寸过大的问题提出了一种新型的压缩算法。在一个预训练模型中,每层神经元都有固定的映射关系。由于卷积神经网络存在大量冗余,删除部分参数后依然可以保持原有映射。该方法通过移除冗余神经元与卷积核,将测试集中所有样本的的输入输出关系提取到更小的网络结构中。压缩后的模型不仅更小更快,而且精度不会受到影响。实验结果表明,压缩率在4到21倍左右,加速比在2到5倍左右。