论文部分内容阅读
图像情感分析是一个较复杂的问题,主要难点在于引起情感的成因及表现形式的多样化。对象单独出现时可能并不表现出歧视的态度,但其与图像中其它相关对象同时出现时却传达出歧视的情感。歧视作为一种社会不公平、不公正的现象,不利于社会的发展与团结,影响着社会的人际关系。当前,卷积神经网络、深度学习等技术在图像分类、目标对象检测等方面有着较好的支撑,但面向情感的分类准确性及划分细致程度仍有较大提升空间。图像情感与图中对象间关系以及多个对象对图像情感表达的影响还没有进行深入的探索。本文针对一种人类特有的高层语义情感—歧视情感,提出一种基于歧视敏感对象类及属性(Discrimination-Sensitive Object Classes and Attributes,DSOCAs)的分析方法,主要工作如下:(1)面向图像歧视情感检测和判定问题,分析构成歧视情感的因素,并进行数据集构建。针对构成图像歧视情感的多视觉对象的相关性,提出面向多视觉对象、多属性的歧视情感学习框架。(2)融合对象检测和迁移学习技术获取歧视敏感对象,同时针对同一歧视敏感对象存在多种属性的情况,利用同一对象不同属性之间具有相关性的特点,构建多任务深度学习神经网络进行训练,实现多种属性特征获取,提升了学习效率。(3)针对图像歧视性与多个视觉对象的相关性,提出基于条件随机场的歧视分类方法,提高了图像歧视性判定的有效性和准确性。(4)基于现有的Emotions in Context Database(EMOTIC)情感数据集和自主构建的歧视情感数据集,将歧视情感细分为5类(年龄歧视,性别歧视,种族歧视,语言歧视,肢体动作歧视),融合歧视敏感目标对象及其对象属性和位置进行了实验验证,实验结果表明提出的方法在精准率、召回率以及F1值都较基准方法有明显提升。