近年来,知识蒸馏在深度学习中有着很广泛的应用,它以出色的表现成为了一种炙手可热的模型压缩方法,实现了以更小的模型达到更好的准确率。相对于其它的网络压缩方法,知识蒸馏能够很好的将大的网络压缩至小网络,从而易于部署。随着知识蒸馏的研究的深入,该技术在机器视觉的很多方面都有了突破性的应用,在基本的知识蒸馏的基础上,也发展出了各种新式知识蒸馏方法。然而在各种知识蒸馏策略爆发式出现的同时,理论上对于知识蒸馏的解释却依然处于起步阶段。从知识蒸馏的诞生之初,它就被解释为教师将所学的知识传授给学生,即学生会学到了更多的信息。解释深度学习策略往往依靠于可解释机器学习这一学科的发展,将信息论这样一个成熟的数学概念运用到神经网络领域中,从而探究神经网络的可解释性是非常有必要的。其中信息瓶颈理论作为信息论的一个重要分支,其发展出的信息平面方法可以很好的可视化神经网络学习过程中互信息曲线,从而了解神经网络训练过程中的信息变化。基于这些,本文从以下两个方面分别对知识蒸馏的策略进行解释:1.信息增量——这是本文基于信息论提出的一个新的神经网络信息量化方法,用以量化神经网络训练前后所获得到的信息量;2.信息瓶颈,用以可视化神经网络在蒸馏前后的互信息曲线。本文的主要工作如下:1.本文从信息增量的角度探索知识蒸馏。提出新的信息量化方法,给出计算方法和推导过程,并总结出其一些特性。本文利用该方法可视化对比了知识蒸馏前后的信息增量,从量的角度探究了知识蒸馏对网络信息量的影响。本文还探究了不同的参数下知识蒸馏的信息增量差别,总结出了信息增量同蒸馏参数之间变化规律;2.本文从信息瓶颈的角度探索知识蒸馏。基于信息瓶颈和信息平面方法,本文探究知识蒸馏前后互信息曲线的差异,从而理解网络在知识蒸馏后对原网络信息获取的改变,得出知识蒸馏使得学生网络在训练终点达到了一种更小更充分的表示,本文进一步的还探究了不同的参数下知识蒸馏的互信息曲线的差别;3.本文从变分信息瓶颈的角度探索知识蒸馏,用变分信息瓶颈的方法使得教师网络监督学生网络,从而提出基于变分信息瓶颈的知识蒸馏框架,在CIFAR-10数据集上给出了其实验结果。