论文部分内容阅读
随着移动互联网的兴起,越来越多的用户喜欢在微博和微信等移动社交软件上传即时的图像分享自己的情感,观察者观看用户上传的图像后能够激发其内心的情感,因此图像具有情感属性,研究数字图像的情感属性对分析用户的情感状态具有重要的意义。目前针对数字图像情感属性的研究工作大都是基于情感分类任务研究的,现有的研究方法通常通过训练情感分类模型来判断图像的情感属性,而忽略了图像中的情感区域对研究图像情感属性的重要性,因此针对数字图像的情感属性研究,本文从图像的情感区域和图像的情感分类两个方向进行研究,通过分析图像的情感区域和图像的情感类别研究数字图像情感属性。本文的创新点主要如下:(1)提出了一种基于显著性特征的数字图像情感区域检测算法。本文首先探讨了图像情感区域与显著性物体区域的关系,实验结果表明图像情感区域包含显著性物体,情感区域和显著性区域具有高度的相似性。而现有的情感区域检测算法经常会忽略情感区域和显著性区域之间的关系,因此为了准确地检测出图像的情感区域,本文设计了一种基于显著性特征的数字图像情感区域检测算法,该算法采用了编码解码的对称网络结构,将显著性特征图融入到解码网络辅助情感区域检测,通过网络模型训练自动检测图像的情感区域。实验结果表明显著性特征可以有效的辅助情感区域的检测,本文提出的算法相对于主流的情感区域检测算法具有更优越的性能。(2)提出了一种基于多任务深度网络的数字图像情感区域检测和情感分类算法。针对传统算法不能很好地利用图像情感类别和图像情感区域两个任务之间的相关性学习出共享特性的问题,本文设计了一种基于多任务深度网络的数字图像情感区域检测和情感分类算法,多任务网络包括图像情感区域检测任务和图像情感分类任务,两个任务通过对共享层参数的训练提高了单个任务的泛化能力,从而提升了网络的性能。实验结果表明,基于多任务的图像情感区域检测算法可以准确地检测图像的情感区域,并且检测性能优于单任务情感区域检测算法和现有的情感区域检测算法。本文进一步使用情感区域特征辅助情感分类,实验结果表明基于情感区域特征的情感分类网络性能有所提升,证明了情感区域在数字图像情感属性研究中的重要性。该论文有图33幅,表9个,参考文献77篇。