基于区域注意力学习的面部动作单元检测

来源 :华中师范大学 | 被引量 : 0次 | 上传用户:fllmn2585
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
面部表情是人类表达情绪、欲望、意图的重要载体。自面部动作编码系统(Facial Action Coding System,FACS)引入面部动作单元(Action Unit,AU)的概念后,从AU的角度分析面部表情可以更加客观且准确地分析人的情绪意图。面部动作单元检测在综合描述面部表情方面起着基础性作用,已成为计算机视觉领域一个重要的研究课题,在心理诊断、人机交互等领域有着广阔的应用前景。AU视角的面部表情是细微且稀疏的,目前研究通常使用局部特征编码的方法,基于先验知识构建AU掩膜,需要人工手动构建并剪裁出相关区域。掩膜的裁剪准确度、裁剪尺寸、裁剪数量等因素通常对模型性能有较大影响。此外,当前很多研究聚焦于提高整个空间特征编码的质量,默认合并所有通道维度特征,忽略了部分通道信息在AU检测中的重要贡献,导致噪声模糊了重要信息,限制模型精度进一步提升。为解决上述问题,本文提出一种基于区域注意力学习的面部动作单元检测算法,以提升面部动作单元检测的精度。本文主要工作和贡献如下:(1)利用面部AU局部且细微的特点,使用基于均匀分块的区域卷积方法,对每个分块用一组独立的卷积核去拟合面部AU的结构特征,使得每个区域学习到的特征权重能捕获重要的特征信息,促使模型拟合区域特征。区域卷积方法在保证模型精确度的基础上降低了工作复杂度。(2)针对区域卷积只关注空间层面AU特征而丢失AU通道信息的问题,提出自适应的区域通道注意力方法,联合空间特征来强化学习通道层面的AU特征。本方法可抑制模型学习不重要的通道特征,同时完全捕获通道层面的AU信息,从通道层面出发重点学习稀疏的面部特征,并且降低过拟合现象。结果表明,所提方法在DISFA和CK+数据集上分别取得了 64.5%和68.2%的识别准确率(F1值),与目前主流的几种面部动作单元检测方法相比,达到较高水平。(3)基于本文提出的面部动作单元检测算法,设计并开发了面部动作单元检测系统,实现了端到端的AU检测、推断情绪状态并进行结果可视化展示。本文研究结果为提高面部动作单元检测精度提供了一种新思路,为探索孤独症儿童情绪共情能力智能化评估带来新启示。
其他文献
采用铜模吸铸法制备了由大块金属玻璃和高熵合金组成的双相复合材料,其名义成分为(Zr59Ni21Al20)90(Ni2.1TiAlFeCrCo0.8)10。利用X射线衍射仪、差示扫描量热仪、扫描电子显微镜、维氏硬度计、万能试验机等研究了复合材料的组织和性能。结果表明:该复合材料的压缩断裂强度为2.61 GPa,塑性应变达到了13.61%,远高于Zr59Ni21Al20金属玻璃,还继承了金属玻璃优异的
中国美术学院的社会实践传统由来已久,可以追溯到国立艺专西迁时期。前辈先生们以绘画、壁报、戏曲、访谈等爱国主义运动形式,在街头巷尾和田间地头广泛地开展社会美育工作。文章以南浔水乡调研课程为例,通过简析课程内在结构强调调研方法、文本导读与视觉加工的互文性。确切地说,语言学、考古学、民族学、行为学、人类学、文学、哲学、艺术、民俗等学科,都可通过田野工作进行资料的收集和记录,架构出研究体系和理论基础。重申
共晶高熵合金(EHEAs)具有优异的综合性能,有望成为先进的结构功能一体化材料,表现出广阔的应用前景,目前已成为金属合金研究领域的热点之一。但是如何科学的设计共晶高熵合金,尤其是含有更多组分(元素数≥7)共晶高熵合金的设计模型和方法,目前还鲜有报道。本文旨在通过提出新的共晶高熵合金设计理念,设计出具有更多组分的共晶高熵合金(元素数≥7),同时研究不同元素与热处理工艺对于共晶高熵合金组织演变以及综合
<正>党的二十大报告指出:“不断谱写马克思主义中国化时代化新篇章,是当代中国共产党人的庄严历史责任。”新时代的十年,党带领全国各族人民取得了一个又一个伟大历史成就。同时,百年未有之大变局下的中国面临的风险与挑战前所未有,经济与社会发展任务之重前所未有,发展中遇到的大量实践课题亟需从理论上给出科学解答,必须用好马克思主义理论这一强大思想武器,不断对实践中遇到的问题进行总结,才能确保“中国号”巨轮行稳
期刊
论述了2000年以来我国铁路快捷货车转向架的技术路线、技术方案、标准体系、新型材料、工程化研究、自发电技术、安全监测技术、检修运维技术等研究成果,为我国发展快捷铁路运输,建立便捷、安全、经济、高效的现代物流体系,奠定了铁路货运装备的技术基础。
学习任务群课程内容的提出,是2022年版语文课程标准最主要的变化。语文学习任务群就是结合学生生活创设真实的学习情境,设计挑战性的学习任务,以任务驱动的方式开展进阶式的语文实践活动,引导学生在运用语言的实践活动中,领会学科知识,获得运用语言文字的能力,提高语文核心素养。语文学习任务群实施的基本路径是:创设真实的学习情境并设计挑战性学习任务,设计进阶式的实践活动,研制持续性的评价方案。实施中的注意要点
关于商王田猎诹日问题彭明瀚殷墟甲骨文中,有相当一部分卜辞是田猎卜辞,晚商时期每一位商王都喜好田猎,这与史籍中谈到殷人好畋游的记载正好相印证。商王田猎问题曾引起后人的浓厚兴趣,周人把商王朝亡国与田猎相提并论。甲骨文发现后,许多学者也对此倍加关注,就商王...
期刊
面部表情是一种人类的一种重要交流方式。为了更精确地描述人类面部的动作变化,相关学者提出了面部动作编码系统。根据面部肌肉群及其运动,面部动作编码系统将面部动作分为多个面部动作单元编码。面部动作编码系统作为一种人类表情的客观描述方法,在微表情识别、人机交互等任务上发挥着重要作用。如何以尽量少的专家标注数据进行训练,同时获得高准确率的面部动作单元检测器是目前研究的热点。目前,面部动作单元检测的方法主要有
本文首先从人体面部动作视频中提取若干张视频图像,并根据人脸识别技术给出人脸面部68个特征点的位置坐标。然后,对人体眼部和嘴部坐标进行纵横比计算,通过对比前后帧图像中的纵横比,给出基于人体面部动作的活体检测方法。最后,利用OpenCv、dlib库和SciPy库等进行活体检测方法实验。实验结果表明所提出的方法能够基于视频中的眨眼或张嘴动作进行活体判断,准确率高。