基于深度学习的图像情感语义分析关键问题研究

被引量 : 0次 | 上传用户:InsidedotNET
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
情感认知是人类的高级认知活动,它也是人工智能不可或缺的部分,在人机交互中要求机器具备情感认知的能力,使得机器与人具有共情性。心理学研究表明,视觉内容(如图片和视频)能诱发观察者的多种情感反应[1],并且随着互联网的发展,人们也越来越喜欢通过上传图片和视频到社交媒介(如微博、微信和Twitter)来分享他们的感受,表达他们的情感,视觉内容能传达和影响人类的情感。本论文主要关注图像的情感语义分析,图像情感语义分析在很多领域都有着广泛的需求和应用,如舆情监控、智能教育。理解图像所传达的情感,以及这些情感是如何通过图像特征表达的,是重要而有趣的研究内容。图像情感分析已成为计算机视觉领域研究热点。图像情感分析指分析图像传达的情感语义,识别出图像诱发的人类情感,目的是建立图像与人类情感之间的映射关系,这是一个很具有挑战性的工作,主要是因为情感语义的模糊性。人类的情感认知与其文化背景、个性和所处社会环境等相关,主观性较大,情感图像标注困难。其次,并不是整幅图像的所有区域(像素)都表达了情感语义,究竟是图像中哪些区域或特征诱发了人类的情感响应?本论文关注情感分析的关键和难点问题——关注情感区域、情感语义模糊性和情感数据集标注困难,探索图像情感分析中的有效方法。本论文的研究内容和主要贡献如下:(1)提出关注情感区域的交叉空间池化图像情感分析方法。在一个前向的图像情感分析中,导向性地设计了提取情感类别特征的方法,检测出图像中与情感相关的特征,实现情感特征的定位。在只有图像级别的标注下就实现了细粒度、像素级的情感标注,得到的情感激活图能表示图像中诱发情感的区域,及每个像素对诱发情感的贡献程度,解决了以往的图像情感分类研究无法解释卷积神经网络是如何生成分类结果的问题。在TwitterⅠ和Emotion ROI数据集上的实验结果表明,论文提出的方法,能有效地学习到情感表示特征,提升情感分类的性能。(2)从情感类别的语义本质特征出发,基于深度度量学习的方法进行图像情感分析。图像情感分类和传统的图像分类是不一样的,在图像情感分析中,情感类别之间存在远近亲疏的关系,情感类别关键词的语义是模糊的,而已有的图像情感分析方法很少有研究考虑图像情感类别之间的这种远近亲疏关系。因此,本论文的研究充分考虑了情感类别之间的关系,根据样本对的当前状态进行渐进式的抽样和双重加权,从信息量更丰富的样本对中学到更多对模型更新有贡献的特征,加快模型收敛。实验结果表明,本论文提出的模型使得深度度量学习学到了更加具有鉴别能力的深度嵌入特征,和目前先进的情感分类方法相比,性能更优,通过消融实验证明了图像情感分析中考虑图像情感类别远近亲疏关系的必要性。(3)情感数据集的标注相当耗费精力,代价高昂。为了解决图像情感分析中的情感数据集标注问题,本论文基于情感类别的极性和有序关系,通过域自适应方法,把已知的标注好的情感数据集调整到未标注的情感数据集,建立一致性约束,实现对目标域情感数据集的分类,即实现弱监督情感分类。该方法应用于云南重彩画数据集上,首次完成了云南重彩画数据集的无监督情感分析,实验结果表明,本论文提出的域自适应方法的效果优于其它域自适应的图像情感分析方法。
其他文献
为优化设计师在汽车内饰CMF设计时对设计方案进行合理设计与选择,提出了基于逼近理想解排序法(TOPSIS)及层次分析法(AHP)相结合的新能源汽车内饰CMF设计方案综合评价方法。以新能源汽车内饰IP饰板和门板为研究对象,对设计评价语言尺度量化,计算各要素的权重以及对设计方案初步的评价矩阵进行加权标准化处理,从而进行综合评价优选。将该评价法引入新能源汽车内饰CMF设计方案优选对其进行有效验证,辅助方
期刊
水资源综合效益评价涉及经济、社会和生态等多个方面,对提高水资源利用效率、经济社会高质量发展具有重要指导意义。本文采用层次分析法和TOPSIS法为基础模型,建立了经济、社会、生态效益三大目标为准则层,11个指标的综合评价指标体系,评价了高台县2015~2020年水资源综合效益。结果表明:高台县水资源综合效益整体呈上升趋势,2018~2019年的综合效益增长最大;其中经济效益的增长是高台县水资源综合效
期刊
目前在成人阻塞性睡眠呼吸暂停低通气综合征(OSAHS)的临床诊疗中存在一定的不规范性,不同科室、各级医生对该病的认知和诊治存在不同的理解和偏差。本文针对不同版本国内指南的异同、结合患者的诉求、临床诊断和治疗中发现的部分问题及存在的一些疑问进行评述和总结,以期更多的同道能一起进行深入细致的研究和探讨,为最终实现该病的规范化、精准化、个体化治疗而努力。
期刊
<正>在小学阶段,许多知识都根源于对乘法的意义的理解,而学生对乘法的意义理解得不够透彻会导致其难以进行正确解题,甚至无法综合应用。理解乘法的意义的过程也是建构乘法概念的过程,即从同数连加到加法结构转变为乘法结构,再到乘法运算算理及法则,直到最后总结出乘法运算定律。可见,二年级上册表内乘法的教学中理解乘法的意义十分重要。
期刊
少先队活动课程作为对少年儿童进行思想引领的课程,其内容和形式的多变性对少先队辅导员的专业素养提出了新挑战,而少先队辅导员作为对少年儿童进行思想意识教育的主力军,其专业化发展是改革少先队教育,促进少年儿童全面发展的必经之路。西藏地处祖国西南边陲,是我国的民族地区与边境地区,西藏少先队辅导员因教育环境、教育对象、教育目标等具有特殊性,需要具备比一般地区少先队辅导员更丰富的专业知识和技能,并不断进行专业
学位
目的 回顾性分析阻塞性睡眠呼吸暂停低通气综合征(OSAHS)合并高血压患者的临床相关指标,以期发现此类患者的危险因素,为该类患者的治疗提供指导。方法 选取2017年1月—2021年12月行多导睡眠监测(PSG)的成人OSAHS患者共324例,其中伴高血压患者129例;采用Spearman秩相关系数和Logistic模型逐步回归对比分析呼吸暂停低通气指数(AHI)、最低血氧饱和度(LSaO2)、平均
期刊
基于应急通信车系统本身组成的体系性、系统性、层次性,以及使用环境高热、高寒、潮湿、盐雾、低气压、淋雨、砂尘等综合应力影响的多面性、复杂性,提出一种基于系统分层和条件分域的应急通信车环境适应性设计方法。首先对环境适应性分层分域设计的理论和方法进行研究,分析了环境适应性设计的定义和内涵,提出了分层分域设计的理论和模型,建立了分层分域设计的方法和流程;然后将分层分域环境适应性设计方法在应急通信车上开展工
期刊
在高中历史课堂教学中渗透生涯决策教育,符合新一轮高考综合改革要求。教师可以引导学生在时空背景的分析中明确个人与时代的关系,在历史人物的生涯起伏中理解个人与国家的关系,在对历史人物评价中树立正确的职业价值导向,从而在历史事件和历史人物的生涯经历中获得借鉴,做出正确的生涯决策,指导未来的生涯发展。
期刊
短波通信作为无线电通信的重要组成部分,在抗洪抢险、国际援助等多样化行动中发挥了重要作用。本文通过对短波传输原理及传播特性的研究,基于理论分析和实践研究,从技术应用角度提出几种保障短波应急通信能力的方法。
期刊
随着证券市场的不断发展和竞争的加剧,客户关系管理已经成为证券公司重要的战略和竞争优势。本论文以华龙证券江西分公司为案例研究对象,通过对该公司客户关系管理现状的调研和分析,提出了一些优化建议。在调研分析过程中,本论文采用了多种研究方法和手段,包括文献综述、问卷调查、深度访谈等。本文针对华龙证券江西分公司的客户关系管理现状,分析了其存在的问题和不足之处,主要包括客户信息管理不够完善,客户分类和挖掘不够
学位