人工智能现在已经风靡全球的学术界和工业界,而深层神经网络在其中扮演了举足轻重、十分关键的角色,其最先在图像视觉领域取得了重大突破,之后在语音、自然语言处理等多个领域也逐一取得重大进展,在许多应用上的精度也逐渐达到工业化、产品化的标准,这主要归功于深层的网络结构以及海量的训练数据这两个特点。然而,也正是由于这两个特点,导致了深层网络具有模型存储量大、运行速度慢这两个缺陷,这是深度学习成果在工业化、产品化过程中最大的障碍之一。因此,对深层网络进行压缩与加速是具有重大的学术价值以及工程意义的。本文重点对卷积神经网络的结构进行了研究,在吸收了相关领域已有方法的基础上,提出了多种压缩加速方案。针对网络结构基本单元内部的冗余,本文提出了一种由多方法有机混合的压缩加速系统。尤其针对“卷积层+全连接层”这种模式的深层网络的特点,本文提出对卷积层进行张量低秩分解,而对全连接层进行网络剪枝的方案,并在此基础上对整个网络进行参数量化处理。前人的工作大部分集中在如何进行网络压缩,而这里最大的亮点则在于网络加速方面,在网络压缩的基础上,从算法层面和系统层面介绍张量低秩分解、网络剪枝和参数量化如何交融一起用于网络加速。本文结合一些工程技巧,并以手写汉字识别网络为例,验证整套方案的压缩加速效果。然而,这种方法只适用于去除基本单元结构内部的冗余,而对于由于整个网络的结构组合设计不合理而导致的冗余并未涉及,因此,对于一些任务需要重新设计一个轻量化网络。本文大体总结了轻量化网络的设计方法与技巧,并以一个可实时运行的图像风格化网络为例,验证其网络性能。然而,要寻找一个模型容量与所要处理的数据刚好匹配的网络是比较困难的,一般需要多次进行网络的设计与训练,试图逼近模型大小的临界点,而这样多次的重复训练是十分费时耗力的。因此,有必要设计一种算法能快速训练轻量化网络。为了解决这个问题,本文提出一种基于知识迁移的多层次的“老师-学生”学习方法,这种方法相对于从零开始训练一个轻量网络,要大大降低学习的迭代次数,缩短网络训练收敛时间。本文提出的多层次的“老师-学生”学习方法,能将一个大网络(“老师”网络)的知识快速迁移到一个网络结构不同、更加精简的小网络(“学生”网络)中,其核心在于将原本一个端到端的学习任务切分为多个学习中间特征信息映射关系的较为简单的子任务,从而降低了参数的寻优空间,大大加快了网络的收敛速度。在这个方法之中,“学生”网络的设计尤为重要,本文针对不同的“老师”网络的特点,提出了相应的“学生”网络的设计方案,并以光流网络、残差网络等为例,验证了该方法的迁移速度以及效果。本文还指出,多层次的“老师-学生”学习方法与卷积核低秩分解、参数量化等方法是可以联系起来的,以求更进一步的压缩加速效果。