深度神经网络在图像分类、检测以及动作识别等多种视觉任务上取得了巨大的成功。但是由于现有深度神经网络结构复杂,计算复杂度高,因此难以在移动设备和计算能力受限的设备上直接应用。因此,神经网络剪枝,作为一种模型轻量化和计算加速工具,近年来开始受到来自学术界和工业界的关注并被广泛应用于实际的深度模型部署应用中。深度神经网络剪枝算法的核心是通过剪除冗余的滤波器参数以获得紧凑的深度神经网络,现有的深度神经网络剪枝方法大多需要对深度神经网络进行预训练,并依赖手工设定的滤波器度量标准衡量网络结构的重要性并进行剪枝。然而这种基于手工设计的度量标准依赖研究者的经验,存在鲁棒性差、调参困难和精度差等问题,而预训练流程会增加剪枝算法的计算复杂度。针对以上问题,本文提出基于结构搜索对神经网络进行自动化剪枝的方法,直接从冗余神经网络中得到紧凑神经网络。本文的具体研究内容与贡献如下:·针对现有剪枝方法需要先预训练然后进行剪枝导致剪枝过程冗长、计算复杂度高的问题,本文提出了一种基于联合搜索与训练的快速神经网络剪枝方法,直接从头开始搜索得到一个紧凑的神经网络。为了提高剪枝的效率,通过将剪枝视为一种搜索策略,本文提出基于结构搜索进行剪枝并获得紧凑的网络结构。同时,为了提高剪枝的鲁棒性,本文采用一种基于阈值生成网络进行自动化阈值生成的动态修剪策略和一种基于多教师网络的知识蒸馏方法。实验证明,该方法在保证剪枝算法的性能不下降的前提下可以有效提高算法的效率。·针对现有剪枝方法在高剪枝率下剪枝效率会大幅度降低这一问题,本文提出了一种基于网络结构拓展搜索的滤波器剪枝方法。与传统的在固定网络空间中寻找滤波器组合的剪枝方法相比,本文主张采用”先拓展再裁剪”的策略以提高结构搜索的效率。具体来说,本文首先构建了一个扩展的搜索空间,并引入一种基于高斯尺度混合模型的全局组稀疏系数用于衡量滤波器的重要性,最后通过一种新颖的确定性退火策略对网络进行迭代的剪枝。通过研究与大量的验证性实验,本文发现,通过结合拓展的搜索空间与全局稀疏度,基于结构搜索的剪枝方法可以搜索到更合理的紧凑神经网络结构。在紧凑网络的参数量减少以及高剪枝率下的表现上,本文提出的方法均优于现有的剪枝方法,是一种尤其适合于实际部署应用的剪枝技术。·迭代剪枝是一类逐渐剪去网络参数的剪枝技术,由于剪枝损失可控、精度高而逐渐成为主流的剪枝策略。但现有的相关剪枝方法忽略了在迭代剪枝过程中相邻轮次之间的相互影响,因而在剪枝过程中会不断地积累误差并导致额外的性能下降。针对迭代剪枝中存在的这一问题,本文提出了一种通过贝叶斯估计进行修剪并重参数化的迭代剪枝方法。在每轮剪枝中,本文首先基于之前剪枝轮次的结果估计一个贝叶斯模型,并基于这个模型对不同通道的剪枝概率分布进行预测,而预测的概率会被用于剪枝。在具体的剪枝过程中,为了减少剪枝带来的精度损失,本文还根据概率分布对修剪后的网络进行重新参数化。在多个流行数据集上的实验结果表明,提出的方法可以在迭代剪枝的过程中对剪枝结果进行精准预测,有效地提高了剪枝的效率和准确度。