近年来,在计算机视觉领域,基于深度学习的细粒度目标分类算法已取得较大成功。然而仅仅获得简单的预测结果对于理解机器智能是不够的。能够解释视觉系统为什么会产生某个输出结论并获得其对应视觉证据才是理解人工智能交互系统的关键性因素。因此提供具有较好的判别特性、能够解释预测系统决策内在原因、并进行可视化的视觉解释模型是很有必要的。本论文主要从以下两方面进行研究。1、以加州理工学院细粒度鸟类识别数据库具体研究对象,结合数据库中标定的鸟类特征描述性文字,研究多模态细粒度识别算法通过增强学习、多模态紧凑型双线性信息融合方式,有机地将视觉目标分类和视觉解释生成两个方面的网络结合成整体,同步生成具有较好类别鉴别力的自然语言解释性语句,避免了视觉解释生成模型对语义标签的过度依赖。2、利用图像空间信息,在生成视觉解释的过程中提出了一种可视化网络模型G-CAM,生成与视觉预测结果相对应的视觉热图,显示解读决策的信息利用情况。本文的研究工作重点尝试解决了两个主要问题。(1)同步实现细粒度目标的类别预测和解释过程;(2)明确分类结论预测过程的内在视觉属性并实现可视化。论文工作在公开的加州理工学院鸟类数据库上进行了测试。实验结果表明,本论文所生成的视觉解释语句在语义表达方面均有不错的表现,证明了我们所提的模型具备良好的优越性。