基于深度特征优化的遮挡人脸表情识别

来源 :山东大学 | 被引量 : 0次 | 上传用户:zzdlily_7000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人脸表情识别(Facial Expression Recognition,FER)是指计算机通过提取和分析面部特征来识别表情的过程,在情感计算、行为预测、人机交互、心理健康服务等众多领域中都有较大的社会需求和广阔的应用场景,其研究受到广泛关注。在现实场景中,由于面部局部被眼镜、手等遮挡而导致人脸表情识别准确度下降的问题,是目前亟需解决的研究难点。为此,本文主要研究自然遮挡条件下鲁棒的人脸表情识别。特征是表情识别的主要依据,而遮挡会带来干扰特征、使部分判别性表情特征丢失。因此,优化特征提取是提升遮挡表情识别鲁棒性和准确率的有效手段。近年来,深度学习方法展现出强大的学习能力和判别能力,已成为表情识别领域的常用研究方法。所以,本文以深度学习为工具、以优化特征提取为突破口,提出了基于深度学习网络的方法来优化特征提取、提升遮挡表情识别准确率。本文的主要研究内容和创新点如下:(1)为了排除遮挡区域的干扰,本文提出一种基于注意力指导的遮挡表情识别方法,通过一种遮挡位置信息来指导空间注意力,从而约束表情特征的生成。首先,基于面部标志点设计了一种遮挡指示图,以获得遮挡区域及无遮挡关键区域的位置信息,设计了一种注意力描述子,其反映了网络对特征特定空间位置的关注度;然后,在此基础上构建了注意力损失函数,使遮挡指示图指导注意力描述子;最后,进一步融合表情分类损失函数构建总体损失函数,使深度特征具有适应于特定表情的准确注意力,以提升表情识别精度。在五个公开的遮挡人脸表情数据集上的特征可视化和表情识别结果表明,经注意力指导策略优化后的特征具有准确的注意力,表情分类性能优于现有方法。(2)为了在抑制遮挡物干扰的同时增强判别性表情特征的表达能力,本文从语义特征层面入手,提出一种组级特征优化(Group-level Feature Optimization,GFO)模块,使被遮挡干扰的语义特征重获良好的分布性,进而汇聚为高质量的总体特征。GFO模块在通道维度对特征进行分组,对于特征组内各空间位置的特征向量,利用其与组级核心语义的相似性和与全局核心语义的关联性来对其进行自适应加权;最后,GFO模块为组级特征补充融合了通道注意力的全局信息。GFO模块嵌入ResNet50由浅到深的各个层次,构成遮挡表情识别网络GFO-ResNet50,通过充分利用组级和全局信息,实现核心细节特征自适应挖掘、关联语义特征融合成组、组级特征反复优化,在最深层次上,具有良好分布性的组级语义特征合成高质量特征,以提升遮挡人脸表情识别准确率。本文在五个公开的遮挡人脸表情数据集上设计了大量实验,语义可视化和表情识别结果表明GFO模块对语义特征实现了优化,且表情识别性能优于现有方法。
其他文献
2020年,在云南省元谋县使用四种种子包衣剂对西藏主栽的青稞(藏青17)、小麦(高原437)进行种子包衣处理,观察对南繁青稞、小麦田间出苗率、株高、穗数、穗粒数、千粒重及产量的影响。结果表明,与清水对照相比,四种种子包衣剂处理均极显著提高了青稞和小麦的田间产量,其中45%烯肟·苯醚·噻虫嗪包衣剂处理,还显著提高了田间出苗率、株高、穗数、穗粒数,在四种包衣剂中效果最好。建议在后续的西藏青稞和小麦种子
期刊
经济在发展,社会在进步,社会联系也在增多,劳资关系也越来越多元化。近年来,各种关于劳动关系的法律纠纷频繁地发生,侵害广大劳动者的合法权利的纠纷案件屡见不鲜。因此,我们国家和社会的福祉和经济稳定需要通过妥善处理各种工作的关系来维持。在这样的经济全面发展的社会大背景下,逐步涌现出来一个具有丰富多样性的公民群体,即农民工群体。当侵害我国农民工的合法权益的用工情况出现时,势必会在一定程度上阻碍我国经济的发
学位
“城乡融合发展体制机制和政策体系”是党的十九大提出的重要方针,目的在于破解城乡二元结构,实现城乡发展一体化。水利作为农业农村发展的重要基础设施,是支撑城乡融合发展的重要保障,而城乡供水一体化则是解决农村居民用水安全及促进城乡区域经济全面、协调发展的重要途径。城乡供水一体化是指把城市与乡村作为一个整体,将城市供水管网延伸至乡村,并将乡村独立、分散、简陋的供水模式转变为集中的、科学的、现代化的供水模式
学位
本研究利用稀释涂布平板法从烟草根、茎、叶中分离、筛选出对烟草炭疽病病菌具有抑制作用的拮抗菌,对防治效果好的拮抗菌株进行发酵条件优化及抗病机理研究,研究结果如下:(1)从延边州不同烟草种植区采集的健康烟草中共分离出137株内生细菌,经平板对峙法初筛和发酵液复筛,筛选出一株对烟草炭疽病菌有显著拮抗效果的菌株C-4,其抑菌率为72.14%。通过培养形状、显微观察、生理生化及16S rDNA序列分析,最终
学位
研究背景:化疗是肺癌的主要治疗手段之一,临床常用的肺癌化疗药物包括吉西他滨(Gemcitabine,GEM)、铂类、依托泊苷、紫杉醇等。GEM通过其三磷酸代谢物阻止DNA复制/合成,最终导致细胞凋亡而发挥抗肿瘤作用。GEM是目前针对非小细胞肺癌的一线化疗药,但患者产生耐药性后严重影响GEM化疗效果。明确肺癌GEM耐药机制对提高肺癌患者生存率具有重要意义。Cullin4B(CUL4B)是Cullin
学位
目的:腰椎间盘突出症(LDH)是脊柱外科的一种常见的退行性腰椎疾患,是导致腰腿疼痛的主要原因之一。反复发作的疼痛不仅给患者的身心造成极大的伤害,也给整个社会和个人的家庭带来沉重的经济负担。近年来,微创手术在中国脊柱外科领域蓬勃发展,目前已经逐渐发展成为治疗腰椎间盘突出症的主流手术方式之一,受到广大医务工作者越来越多的关注。本项研究的目的是比较Delta镜下髓核摘除术在治疗腰椎间盘突出症时与经典的椎
学位
目的:垂体促甲状腺激素腺瘤是中枢性甲状腺功能亢进的主要原因。本研究通过回顾垂体促甲状腺激素腺瘤的临床特点和手术结果,旨在为早期诊断和疗效评估提供经验。方法:通过回顾分析2009年1月至2021年8月于山东大学齐鲁医院神经外科接受手术治疗的2530例垂体腺瘤的电子病案,筛选出15例垂体促甲状腺激素腺瘤患者。数据收集包括一般信息、临床表现、辅助检查、手术和病理结果。通过电话询问或门诊复查随访。短效奥曲
学位
2013年以来,我国的社会治理工作进入新的发展阶段,国家逐步明确了我国社会治理的目标与体制,而且进一步确认了包括共青团在内的群团组织参与社会治理的主体地位,《团章》中也指出社会治理是新时代共青团的重要任务。共青团伴随着党的成立而建立,与党关系紧密,且青年群众基础广泛,在社会治理体系中具有适合的定位,具有参与社会治理的优势和意义。而县区级及以下的共青团组织,属于共青团系统中的基层地位,它们在共青团的
学位
背景:腹腔镜肾盂成形术(Laparoscopic pyeloplasty,LP)是治疗肾盂输尿管连接部梗阻(Ureteropelvic junction obstruction,UPJO)患儿的主流术式,但儿童腹腔空间小,且术中涉及大量重要且复杂的吻合操作,使得LP学习曲线较长。因此,进一步探讨LP手术技巧,以降低腔镜下缝合难度,增加缝合精准度,缩短手术初学者的学习曲线,是很有必要的。目的:总结我
学位
阀门常见于石化场所的管道、储罐、反应釜等装置上,当发生事故时,由机器人代替人进入现场关闭阀门,能够阻止泄露,有效遏制事态恶化,并减少对操作人员的伤害。当前机器人关闭阀门存在定位精度低、操作柔顺性差和自主性不足等问题,本文以单臂机器人操作具有圆形手柄的蝶阀为目标,融合机器视觉和技能学习技术,展开关阀任务中基于视觉的目标位姿感知和基于力觉的机器人末端位姿调整策略研究,实现非结构化环境中单臂机器人的关阀
学位