自感知机和反向传播提出以来,人工神经网络在人工智能应用领域中迅猛发展。近年,深度神经网络作为传统神经网络的改进引起了学术界和工业界极大的研究兴趣,并在图像识别、信号和信息处理等多个应用领域取得显著成果。然而,随着深度神经网络模型复杂化,模型参数和计算量的增加为深度神经网络模型在移动终端上的部署带来巨大的挑战,促进了深度神经网络压缩技术的研究蓬勃发展。深度神经网络压缩的目的在于在不降低模型性能的前提下,减少网络参数量和加速网络推理。但是现有的网络压缩算法存在压缩时间成本高、缺乏多任务网络模型压缩研究等问题。本文针对单模型压缩和多模型压缩算法存在的难点与挑战,分别从网络模型中滤波器内部冗余信息的去除、网络模型中网络层的冗余滤波器的去除以及网络模型中冗余结构的去除三个层面,研究高效的深度神经网络压缩算法。本学位论文的主要工作和研究成果如下:（1）提出了一个基于多目标优化的深度加权稀疏网络模型,自适应去除网络模型中滤波器内部冗余信息。传统的神经网络稀疏性约束通常对网络中所有神经元施加以相同的稀疏性约束先验,而这样的约束会导致部分高激活值的滤波器丢失有效信息,部分低激活值滤波器保留大量冗余信息。本文在深度神经网络模型中引入加权稀疏性约束有效减少滤波器冗余信息,约束网络模型将有效信息集中于部分滤波器中,从而有助于网络压缩;建立多目标优化模型,自适应选择动态超参数加权稀疏权重;拆解模型更新过程为重构误差优化和稀疏梯度计算两个部分,缩短模型更新时间;采用阶段性超参数共享优化策略,进一步地降低优化过程的时间成本。实验结果显示在相同压缩度约束下对加权稀疏网络模型进行剪枝可以获得精度更高的压缩模型。（2）提出了一个基于滤波器索引式共享的多模型剪枝算法,压缩多模型中冗余滤波器。现有的网络剪枝方法大多是针对单个网络结构,即在单个数据库上建立深度神经网络模型,然后进行剪枝操作。本文认为多个数据库上的模型同样可以提取到相似特征,共享这部分滤波器不仅可以实现模型压缩,还可以通过不同数据库之间的信息交互提升压缩模型性能。针对基于准则的多模型压缩中面临的滤波器重要性度量准则设计、选择滤波器处理方式、多模型压缩度分配、多模型精度恢复以及压缩算法可推广性等方面的挑战,本文设计了针对多模型压缩的重要滤波器度量准则,以多目标优化方式选择重要滤波器;提出滤波器共享策略自适应决定网络中每个滤波器的相应操作（剪枝、合并或者保持不变）;建立索引矩阵存储相应的操作以指导压缩模型精度恢复;针对多模型压缩度分配问题,提供两种不同的多模型压缩度设置方式。实验结果表明,本文算法在单模型压缩、两模型压缩和多模型压缩中都取得良好的压缩效果。在相同压缩度前提下,多模型压缩算法的每个压缩模型都可以恢复至高与单模型压缩的压缩模型的模型精度。（3）提出了一个注意力机制诱导的可微通道剪枝算法,建立网络模型剪枝策略并通过注意力评分诱导剪枝策略的优化。基于网络架构搜索的方法可以充分利用网络结构信息,但是时常面临搜索空间大、搜索速度慢等问题。为了克服上述缺点,本文引入Gumbel-softmax采样使得网络架构搜索策略的优化过程可微,同时通过注意力评分为剪枝策略优化提供先验信息。考虑到直接引入注意力模块将会导致最终压缩模型参数量和计算量的增加,本文设计了一个两阶段迭代式训练方法交替优化注意力模块和网络参数,保证注意力模块可以在不影响模型精度的前提下从压缩网络模型中移除。针对具有shortcut结构的网络模块（如ResNet网络）设计特殊网络架构搜索策略,使得网络模型在宽度和深度层面都可以得到压缩。最后将算法推广至多模型压缩中。实验和可视化结果表明层信息诱导的有效性以及提出算法可以获得精度损失更低的压缩模型。（4）提出了一个基于超网络的多任务紧凑模型,通过超网络生成多任务紧凑模型参数。为了充分挖掘多任务之间的关联信息并解决多任务模型压缩后重训练成本问题,本文设计了一个自适应生成网络参数的超网络模型。该超网络模型包括两个组成模块:针对特定任务的特征提取器模块和任务共享的参数生成器模块。具体来说,特定任务的特征提取器会针对任务提取相应特征,该特征将作为参数生成器的输入,参数生成器接受输入后生成多任务模型所需的网络参数。因为多任务学习中的不同任务具有相关性,参数生成器可以快速有效地学习特征到网络参数的映射关系。本文提供两种多任务紧凑模型特征选择方法:直接使用多任务特征均值和通过进化算法选择紧凑模型特征。通过该算法获得的多任务紧凑模型无需进行微调或重新训练,极大地减少了训练时间成本。多任务实验结果证明,通过超网络模型可以获得具有相同压缩度且性能优于对比模型的多任务网络模型参数。