图像的情感识别是一项复杂并具有挑战性的研究课题,现在通常将图像情感识别应用于人机交互,舆情分析等方面。如何跨越图像特征和人类情感之间的鸿沟是本课题的主要研究问题。本论文在卷积神经网络的基础上提出了一种基于多特征表达的双模式学习图像情感识别算法。该算法中利用多特征描述算法提取更为丰富、充足的图像特征来描述图像的情感,同时辅助双模式学习网络来学习不同特征之间的关联,以此来弥补图像的低层基础特征和高层语义信息之间的鸿沟,从而达到跨越图像特征和人类情感之间鸿沟的目的。论文的主要工作如下:1、新的图像情感数据集的建立缺少干净的标记情感图像数据是现在图像情感识别中面临的严峻考验。本文利用关键字从Flickr网站中获取了积极的和消极的两种情感极性的图像数据。利用半监督学习的方法对获得的图像数据进行分类,从而获得具有准确标签的图像数据。2、数据的清洗不管是在使用本文建立的图像情感数据集,还是使用现存公用的图像情感数据集,由于标注过程中图像和对应标签之间相关程度不容易度量的原因,图像情感数据集中还存在图像和对应标签弱相关的问题。本文采用渐进神经网络(PCNN)对图像数据进行清洗,挑选出与标签相关性较强的图像数据。3、图像的多特征描述图像特征在计算机视觉研究领域内是用来描述图像的最有效方式,对于图像情感而言,越为丰富的图像特征能够从更全面的角度描述图像的情感。在本文研究中发现,图像的情感与众多因素有关。首先,图像的前景信息包含图像的目标信息,可以提供高级的语义信息。其次,图像的背景部分因为缺少了图像目标,可以提供一些低层的基础特征,例如颜色,纹理,形状等特征。本文提出的多特征描述算法利用不同深度的卷积神经网络分别提取图像的不同层次的特征来丰富用于描述图像情感的特征。4、弥补图像和情感鸿沟丰富的图像特征是用于描述图像情感的一种基础方式,但是人类情感更加主观,往往需要对这些图像特征进行组合分析后才能理解一幅图像的情感,因此,在图像的特征和人类情感之间还存在巨大的鸿沟需要跨越。本文提出一种双模式学习网络,模拟人类能够同时分析两幅图像的机制,学习不同图像及特征之间的相似点和不同点,以此来弥补低层基础特征和高层语义信息之间的鸿沟。通过学习不同等级特征和信息之间的加强特征,能够有效地提升图像情感识别效果,建立图像特征和人类情感之间的关系。论文通过以上四个方面进行研究。实验结果在本文建立的图像情感数据集,Twitter2 数据集,ArtPhoto数据集以及Flickr_LDL数据集上验证PCNN网络能够有效筛选出和标签强相关的图像数据,多特征描述算法提供的更为丰富的特征描述有效地改善使用单一特征描述图像情感的问题,双模式学习网络能够帮助建立图像特征和图像情感间的关系。通过以上的算法和方法,能够有效提高图像情感识别的准确率。