近年来,卷积神经网络在各种计算机视觉任务中取得了显著的成功。然而卷积神经网络的成功伴随着大量的计算和资源消耗,难以部署到资源受限的实际应用中。模型压缩为解决此类问题提供了有效的方案。知识蒸馏通过教师模型（大模型）指导学生模型（小模型）训练的方式,使得小模型尽可能达到大模型的效果,用小模型来代替大模型,来实现模型压缩的目的。知识蒸馏不受网络结构差异的影响,在模型压缩领域得到了广泛的研究。因此,本论文从不同方面对知识蒸馏算法进行了研究。首先,本论文研究了基于中间特征的知识蒸馏算法,该方法通过使用教师网络的中间特征来指导学生网络的学习。鉴于目前大多数基于中间特征的知识蒸馏算法在利用中间特征进行知识转移时,损失了部分特征信息,导致特征信息利用不充分,影响学生的学习效果。本论文提出了基于通道和空间特征的知识蒸馏算法,该算法通过通道转移模块和空间转移模块来转移教师模型中间特征的通道信息和空间信息。这样两个模块互相补充,能够充分地利用教师模型的中间特征信息。另外,对通道转移模块和空间转移模块的特征提取位置进行了探究,研究表明网络的高层次转移通道信息、其他层次转移空间信息的效果更好。实验结果表明本论文提出的算法优于主流的知识蒸馏算法,在CIFAR100数据集上学生模型WRN-16-2的分类准确率达到了75.38%,与教师模型WRN-40-2的性能（75.61%）十分接近,验证了所提出算法的有效性。接下来,本论文对师生模型容量差距过大导致学生学习效果差的问题进行了分析。其中,基于教师助理的知识蒸馏算法是一种有效的解决方案,但我们发现该算法存在错误叠加问题,即在教师助理的学习过程中,较高层次的教师助理在学习时出现错误,这种错误会一直传递下去,最终影响了学生模型的性能。为此,本论文提出了基于教师助理的多重引导知识蒸馏算法。具体来说,在学生的学习过程中,不仅接受较小的教师助理的指导,而且接受较大的教师助理以及教师的直接指导,使得错误可能被纠正,缓解了错误叠加问题,使得学生的学习效果得到有效提高。另外,为了提高学生的学习效率并避免过拟合问题,提出了随机学习策略,使得学生可以学到不同的知识组合,提高了学生的学习效果和学习效率。在CIFAR10和CIFAR100数据集上使用Resnet和Wide Res Net两种不同架构的学生模型的性能优于主流的知识蒸馏算法,证明了本论文提出算法的有效性。本论文对现有的知识蒸馏算法进行了探究,能够有效地提高学生模型的性能,可应用于资源有限的图像分类、实例分割等实际场景。