得益于深度卷积神经网络（Deep Convolutional Neural Networks,DCNN）的发展,大量计算机视觉任务取得了传统算法难以达到的表现。但是,由于大量冗余特征的存在,这些基于DCNN的优秀模型会消耗大量有效的存储和计算资源,通常难以部署在资源受限的平台。如果我们能够用一组正交的特征来表示所有特征,则可以用一个轻量级小网络来代替复杂卷积神经网络,且不带来任何精度损失。因此,在卷积神经网络中获取一组正交特征具有重要的学术价值和应用价值。本文希望借助知识蒸馏这一优化工具来去除冗余特征,从而为卷积神经网络中正交特征的获取提供一种新思路。所谓冗余特征,是指将这部分特征去掉后,模型表现不会有明显下降。但是,目前一些模型优化算法在去除部分特征后,会带来模型性能的下降,并未很好地去除冗余特征。知识蒸馏算法希望借助复杂网络的先验知识,缩小特征去除前后的性能差距,让轻量级神经网络获得和复杂神经网络相当的表现,从而更好地实现冗余特征的剔除。本文主要从判别性特征和泛化性分类器两个角度出发,研究能进一步缩小两类网络性能差距的知识蒸馏算法。特征提取和分类是传统模式识别算法的两个基本步骤,深度卷积神经网络将两者耦合成一个端到端的学习过程。但是,这两大要素仍然十分重要,会直接影响模型的表现。特征的判别性是指在特征空间中,同类特征距离较近,异类特征距离较远,这样的特征分布便于分类;分类器的泛化性是指它适应新样本的能力,泛化性低的分类器过度拟合训练集,在测试集上表现不佳。如何获得具有判别性的特征和泛化性的分类器一直是学术界的追求。因此,本文从判别性特征和泛化性分类器两个角度出发,借助复杂神经网络强大的先验知识,提升经过特征剔除后的网络的分类性能,更有效地实现特征去冗余,提高特征集合的正交性。本文的主要工作包括:1)提出基于判别性特征和泛化性分类器的知识蒸馏算法考虑到特征学习和分类决策各自的特点,本文采取不同策略训练了两类教师网络。其中一类给分类器决策提供泛化性的先验信息,指导分类器输出更平滑的概率分布;另一类为特征提取提供具有判别性的中间特征表示先验,轻量级学生网络通过对该信息的模仿来提高自身的特征提取能力。本文采用不同网络结构,在不同数据集上对所提算法进行了实验,验证了该方法的有效性。2)将上述算法拓展到无训练样本的情形大部分知识蒸馏算法假设训练数据是可获得的,但是并不是所有应用场景都能满足这一假设。本文针对无法获得训练数据的情况,只使用训练好的复杂神经网络模型,获得一个与其性能相当的轻量级神经网络。具体而言,本文将上述基于判别性特征和泛化性分类器的知识蒸馏算法集成到当前零训练样本知识蒸馏方法中,使轻量级网络的分类性能更加接近复杂神经网络,证明了本文方法在无训练样本的情况下也能有较好的表现。3)实现了基于本文算法的多人脸属性分析系统多人脸属性分析系统通常需要完成多个任务,输出多个人脸属性,对内存和计算资源的消耗较大。因此,冗余特征的去除对多人脸属性分析系统具有重要意义。在上述工作基础上,本文实现了一个多人脸属性分析系统。通过去除冗余特征,该系统能够以较小的内存和计算代价获得和复杂模型相当的表现。