基于多分支网络的多标签表情识别研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:zhangxyz
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
表情是人类表达情感最直接有效的方式之一。由于表情识别在社交机器人、疲劳驾驶监控和数字娱乐中的广泛应用,越来越多的研究人员对这一方向进行了深入研究。现有方法大多为单标签表情识别方法,而日常生活中,人脸表情往往是多种情绪的复合,即多标签表情。由于多种情绪之间存在耦合现象,导致现有表情识别方法难以在该任务上取得令人满意的效果。为解决这一问题,本文针对自然场景下的多标签表情识别展开研究。提出了基于自监督的多标签表情识别方法,该方法包括自监督训练策略、基于多分支的特征抽取模块和多标签表情特征融合模块。为解决训练数据不足的问题,引入了自监督训练策略以增加训练数据的数量和多样性,从而提高模型的泛化能力。为提高模型对于每种基本表情的判别能力,设计基于多分支的特征抽取模块,通过注意力机制从图像整体特征图中分别抽取表现不同表情的局部特征,实现表情特征分离。为利用表情之间的关联性,采用基于注意力机制的特征融合方式融合每种表情特征形成多标签表情特征。实验发现,该方法在多标签表情识别数据集RAF-ML上取得0.886的平均准确率,较现有方法提高了0.7%。提出了基于排他-共有交互学习的多标签表情识别方法,该方法包括基于多分支的表情解耦模块和条件对抗交互学习模块。设计构建基于多分支的表情解耦模块,在图像特征图的基础上进一步学习复合表情的共有特征和不同表情的排他特征,实现更深层次的表情特征解耦。为充分利用表情排他与共有特征之间的互补性,设计了条件对抗交互学习模块,使两种特征趋于一致的特征空间分布,实现特征之间的交互学习,进而获得有效且完备的多标签表情特征表示。在多标签表情数据集与单标签表情数据集上的大量实验证明了该方法对于表情识别任务的有效性。其中,该方法在RAF-ML数据集上取得了0.897的平均准确率,较现有方法提高了1.8%,取得了多标签表情识别的最佳性能。
其他文献
目的:多发性骨髓瘤(MM)是一种以异常骨髓浆细胞增殖为特征,可分泌大量单克隆免疫球蛋白或其片段,骨病是MM的主要症状之一,影响到患者的生活质量。对于骨病的检测可以有助于MM的诊断和危险分层,早期识别高危患者,从而进行有效干预治疗。PET/CT是一种新型的影像学技术,在MM中的应用越来越广泛。本文主要探讨18F-FDG PET/CT与初诊多发性骨髓(newly diagnosed multiple
学位
城市快速发展产生了热岛集聚效应,已经开始显著影响人们的身心健康。在目前我国全面推进城市更新的背景下,存量城市空间物理环境优化是城市更新的重要内容。更新街谷树木,作为一种经济、有效的改善街谷微气候手段,是提升街谷空间热环境质量的重要技术途径,也是城市整体热环境优化的基础。本文以哈尔滨典型街区的街谷群为研究对象,以景观界面测度作为街谷群景观形态的量化指标,通过现场实测以及ENVI-met模拟的方法,研
学位
随着老龄化程度进一步加深,国家提出积极老龄化国策和健康中国行动,关注引导性、无障碍、精细化的城市游憩空间建设。城市山地步道在提高土地资源利用率的同时,串联了城市绿色基础设施,为老年人提供了有效、趣味、易执行的健康活动方案,深受老年人喜爱。老年人是步道活动的主要群体之一,由于机能的下降和心理的变化,他们对山地步道空间提出了更高的包容性要求。从老年人游憩行为角度研究步道满意度影响要素,有助于识别提高步
学位
创业意向是大学生创业行为的重要预测变量,是国内外高等教育和创业教育研究的热点问题。已有研究主要从个体因素和单一国别探究创业意向的影响因素,关于创业制度环境对大学生创业意向影响的跨国别研究还处于起步阶段。基于制度理论,利用“全球创业观察”“全球大学生创业精神调查”数据,研究规制性制度、规范性制度和认知性制度对各国大学生毕业时和毕业五年后创业意向的影响,结果发现:认知性制度和规范性制度与大学生创业意向
期刊
背景社区获得性肺炎(Community acquired pneumonia,CAP)是肺部感染性疾病中发病率和死亡率的较高的疾病之一,早期发现并对CAP的诊断以及治疗有利于患者的病情转归以及经济负担,因此需要寻找一个用于诊断、预测病情严重程度以及降低发病率或病情严重程度的方法的生物标志物是必要的。有限的研究表明钙结合蛋白可能参与CAP的病理生理学。然而,没有临床相关的研究对分析钙结合蛋白家族中S
学位
目的:社区获得性肺炎(CAP)是一种具有高发病率及死亡率的感染性疾病。抵抗素是Toll样受体-4(TLR-4)的内源性配体,可激活几种炎症信号通路,诱发机体产生炎症反应。然而,血清抵抗素在CAP中的病理生理作用尚不清楚。本研究的目的是通过一项回顾性的队列研究,探讨血清抵抗素与CAP患者病情的严重程度及预后之间的关系。方法:通过一项回顾性的队列研究,选取2019年8月1日至2021年4月1日在安徽医
学位
背景恶性胸腔积液积液与结核性胸腔积液作为临床常见的胸腔积液,二者发病率均较高,两者治疗方式以及预后截然不同。恶性胸腔积液作为恶性肿瘤常见并发症,恶性程度高,临床治疗难度较大,预后极差,故而早期辨别及诊断胸腔积液性质是改善恶性胸腔积液患者预后的重要条件。限于目前对于胸腔积液性质诊断效率不足的现状,进一步探讨炎症标志物LCR(lymphocyte-to-C-reactive protein ratio
学位
文本自动生成是自然语言处理中的核心任务之一,已广泛应用于机器翻译、自动摘要及对话系统等子任务中。近来,在众多文本生成问题中,条件文本生成逐渐成为学术界及工业界的重要前沿研究问题之一。条件文本生成任务是指给定输入文本,模型自动生成与原文意义一致的相应文本。当限定输入文本长度远远低于输出文本长度时(短到长文本生成),该任务变得格外具有研究挑战性。首先,输入文本过短直接导致了信息缺失问题,这就要求相应模
学位
目的:脑-肠轴互动异常是功能性消化不良(Functional dyspepsia,FD)的重要病理生理机制,认知异常是脑-肠轴功能紊乱的重要表现。饮食行为、不规律的饮食模式、异常心理状态与FD显著相关,这可能受到认知因素的影响。认知因素在FD的发生发展中起到重要作用。执行功能(Executive functions,EFs)是一种高级认知功能,是指个体在保持专注、抵制“诱惑”、应对挑战、“三思而后
学位
随着计算机科学以及视觉传感器的发展,视觉即时定位与地图构建技术(Simultaneous Localization And Mapping,SLAM)的定位精确度已经达到了厘米级,并广泛应用于自动驾驶、移动机器人、智能穿戴设备等领域中。但是因视觉传感器的局限性,视觉SLAM还面临着一些问题。例如,当处于弱光环境时,视觉SLAM特征提取数量无法稳定满足定位需求;当处于无光环境时,视觉SLAM无法获取
学位