基于图卷积网络关系建模的面部表情运动单元检测研究

来源 :天津大学 | 被引量 : 0次 | 上传用户:hfwandy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近些年随着人工智能和深度学习的发展,在情感计算和人机交互等领域,面部运动单元作为全方位描述面部动作的研究已经吸引了众多研究者的关注。面部运动单元的检测有助于人脸表情的识别与分析。面部运动单元(Facial Action Unit,AU)是根据人脸的解剖学特点和面部表情的肌肉运动定义的,在人表达某种特定情绪的时候,人的表情是通过多个面部运动单元共同作用形成的,由此可以看出面部运动单元之间存在着关联。然而我们发现,在许多实际网络中,直接运用面部运动单元之间的关系进行模型训练的方法常常被忽略。本文旨在根据面部运动单元之间的联系,提出了一种基于图卷积神经网络建模的面部表情运动单元的检测方法,以提升检测的精度。此模型框架分为:面部运动单元感兴趣区域(Region Of Interest,ROI)的划分、面部运动单元ROI的特征提取、面部运动单元关系图的建立、图卷积操作、面部运动单元检测这五个方面。首先在面部运动单元ROI的划分上,根据面部行为编码系统和人脸特征点信息,划分出AU ROIs;然后通过若干个自动编码器对选取出来的AU ROIs进行特征提取,并且对模型的部分参数进行预训练;接着计算AU共生的条件概率来获得AU之间的共生关系信息,再通过AU关系来推演到AU ROI的关系上来,并得到AU ROI关系图;再根据建立的关系图应用图卷积神经网络,让AU间的信息在关系图内部进行传递;最后通过分类器来解决这个AU检测的多标签分类问题。本文介绍了该模型训练的具体实现方式和超参数的设置;采用了定性评估和定量评估两种评估方法,定性评估是对重建后图片的生成质量进行评估,定量评估分为与现存主流面部运动单元检测方法之间的结果对比和消融实验。其中消融实验对模型的三个组件进行分析,以此来证实模型的组件对于模型效果的提升有所帮助。
其他文献
盾构/TBM施工时存在的排渣困难、刀具磨损、盾尾失效、地表沉降等问题严重影响隧道施工安全和掘进效率,成为当下困扰盾构施工的重要难题,开展渣土改良和盾尾密封技术研究是解决这一系列难题的关键。阐述各类问题发生的原因,在盾构隧道常用施工技术的基础上综述国内外渣土改良与盾尾密封相关技术的研究现状,总结目前的常用施工方法和施工工艺的不足。依托实际工程通过室内试验与现场试验相结合的方法,自主研发高效渣土改良剂
随着2019年国家石油天然气管网集团有限公司的成立,我国油气市场“X+1+X”的体系逐渐成型。为了建立公平、公正、竞争、有序的市场秩序,处于自然垄断地位的管网设施运营企业需要规范有效地实施油气管网设施的公平开放。为此,以油气管网设施公平开放问题为研究对象,深入分析了其内涵、现状及存在的问题,提出了油气管网设施公平开放的路径构想。研究结果表明:(1)总结了油气管网设施公平开放的时机条件、制度技术和政
《明史》是明史研究的重要史料,该书《河渠志·黄河》对于研究黄河在明代的相关情况也具有十分重要的意义。然而其中存有较多讹误,以往学者对这些讹误已有所校正,但仍存留有一些讹误。本文将"明实录"、地理类志书、政书、笔记、诏令奏议、地方志等官修、私修史书与中华书局1974年点校本《明史·河渠志·黄河》加以对比,在前人已纠正的错误的基础上,对仍存在的讹误进行了校勘。
针对实现基于计算机辅助的自动抑郁识别的迫切需求,开展了面向中国人群的基于面部行为和语音特征的重度抑郁识别研究。首先,从已构建的抑郁症数据集中选取符合研究条件的72个样本进行分析;然后,采用变分模态分解法将面部活动和语音数据分解为不同的频率分量,并通过分析不同频段的能量分布来构建特征集;最后,采用多种分类器的投票决策实现抑郁识别。实验结果表明,男性被试组的识别正确率可达到81.1%,女性被试组可达到
学位
利用宅基地建设乡村工场,发展农产品加工业,有助于激活农村资源要素。要想真正实现农业大县聚焦农产品加工业,引导企业到产地发展粮油加工、食品制造,推进现代农业产业园和农业产业强镇建设,就要引入市场机制。目前,国家利用宅基地发展乡村工场面临审批手续不规范增加隐性成本、流转方式单一无法满足农户利益需求的问题,因此,需要结合乡村振兴的背景,明确建设乡村工场的审批流程,灵活运用入股方式保障农户权益,助推农村产
<正>有经验的教师都有这样深刻的体会:走近幼儿,真正地理解幼儿是教育的前提,而幼儿最需要的、最有教育意义的是教师的支持行为。怎样的支持才最有效、最助力幼儿发展呢?围绕这些问题,我们一直在不停地思考、不断地研究。幼儿园是给孩子提供成长机会的重要场所,我们首先要明确一个核心:幼儿是要按照自己的速度进行"生长"的,教师的任务就是为他们创造出能够以他们自己的步调,以他们独有的方式进行学习的环
期刊
<正>《3~6岁儿童学习与发展指南》指出:"相信幼儿是有能力的主动学习者,是自信的表达者与沟通者。"教师应创设环境,提供材料,鼓励幼儿亲身体验,自主探究,做幼儿的支持者、引导者、陪伴者。我园每个年级组都设立了资源库,不高的架子上材料多种多样,有生活类,有学习的,有高档的,有废旧的,便于幼儿收集、自取。本次观察事件就是在提供材料的基础上,幼儿与幼儿、幼儿与材料之间的互动引发的
期刊
<正>房地产是一个较为复杂的综合概念。从实物现象看,它是由建筑物与土地共同构成,土地可以分为未开发的土地和已开发的土地,建筑物依附土地而存在,与土地结合在一起,建筑物是指人工建筑而成的产物,包括房屋和构筑物两大类。
期刊