图像中蕴含着大量的语义信息,如何挖掘这些信息,探究出图像与语义信息的关系并加以应用已成为目前研究的一大热点,具有一定的理论意义和实际应用价值。影响图像情感的因素有很多,在之前很多的研究人员已经从颜色、纹理、形状等低级视觉特征角度考虑了这个问题,但是由于情感的主观性和复杂性,将传统低级视觉特征运用到大型数据集上时,往往会出现准确率低的问题。随着深层卷积神经网络(CNN)的发展,更多的研究者开始致力于构建更深、更有效的网络结构来进行图像语义识别任务,并取得了突破性的进展。与之前的传统方法相比,使用深度学习的方法可以大大提升识别的准确率,也证明了深度学习算法的优越性和可靠性。基于对深度学习方法的研究,本文首先对研究用到的小数据集采用数据增强的方式进行扩充,以达到网络训练的样本数量要求,然后将提取到的四种图像特征采用特征融合的方式生成特征向量,输入到网络分类器中,实现图像高级语义识别,最终生成高级语义描述性短语。之后对情感识别分类器进行了改进,采用构建栈式稀疏自编码网络的方式重新训练分类器,进一步提升情感的识别准确率,改善网络的训练。本文主要工作包括:(1)基于IAPS、GAPED、ArtPhoto和Abstract公共情感数据集,采用数据增强的方式进行扩充,并提出一种“Part_expansion”数据扩充方式,不仅使得数据集的数量满足网络训练的需求,还能保证数据集的不同类别间数量达到平衡,减少因不同类别的数据数量相差太大而引起的分类效果不佳的问题。(2)提出了一种基于多特征融合的识别图像高级语义的方法。首先在提取阶段提取图像颜色特征和纹理特征,还构建了深层网络提取对象类别特征和深层情感特征,并将四种特征融合生成一个特征向量,随后将特征向量输入到利用全连接方式构建的三层全连接层网络分类器中,实现图像高级语义识别,最终生成包含图像情感和对象在内的高级语义描述性短语。(3)提出了一种栈式稀疏自编码网络的方法以改进情感识别网络的训练。针对传统随机初始化网络方法,易造成网络陷入局部极值而无法收敛的问题,提出栈式稀疏自编码网络的方式,对网络首先进行逐层训练,然后再微调整个网络。通过这样的方式可以使得初始化网络的权重处于较好的位置上,易于网络更快地收敛并取得较好的局部极值。实验证明,与随机初始化方式相比,采用这种方法在本文的研究问题中能够达到更高的识别准确率,达到改善网络训练的效果。