论文部分内容阅读
卷积神经网络作为深度学习领域的一个重要模型,已经在计算机视觉的绝大多数领域取得了成功。然而深度神经网络的内部犹如一个“黑箱”,其工作原理一直不被理解。因此,为了更好地了解卷积神经网络内部的工作原理,深度可视化作为一个新的研究领域应运而生,其目的是以图像可视化的方式对卷积神经网络内部的卷积核以及卷积层所提取到的特征进行分析,以帮助理解卷积神经网络每一层是如何在提取特征,以及哪些图像信息被保留下来了,从而避免在网络训练过程中的盲目调参和试错,使网络结构的性能迅速达到最优。本文首先对卷积神经网络的内部结构进行可视化分析。由于每一个卷积核提取一种特定的特征,低层卷积核提取具体的纹理信息,而更高层的卷积核所提取的特征是对上一级颜色或纹理特征的组合,从而形成更加抽象的目标特征。基于对图像特征可视化研究的这一结论,本文还提出一种基于图像迭代的神经风格转移方法,进一步可以生成转移艺术风格的图像。本文工作内容总结如下:(1)利用反卷积技术对卷积神经网络中每一层卷积层所提取到的特征进行可视化。可视化结果表明卷积神经网络的低层卷积层主要提取图像的边缘、纹理和颜色等信息,而高层卷积层则是对低层特征的组合,因此所提取的特征会更加抽象。(2)提出一种基于类别激活映射的可视化方法,对卷积神经网络的每一层特征进行可视化分析。实验结果表明,该方法只有在最后一层卷积层上,才能有效地显示出图像中有助于分类任务的关键区域,从而对卷积神经网络能完成出色的分类任务做出合理解释。(3)根据深度可视化的研究结果,即低层卷积层提取纹理特征,高层卷积层提取较为抽象的内容信息。通过最小化内容信息与风格信息的总损失函数,对一幅随机噪声图像进行迭代优化,使得随机图像最终既保留了内容图的内容信息又融合了风格图的纹理信息,达到风格转移的效果。