基于多尺度特征关系学习的人脸表情修复

来源 :天津大学 | 被引量 : 0次 | 上传用户:newio
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着机器学习和深度神经网络两个领域的迅速发展以及智能设备的普及,人脸识别和分析技术正在经历前所未有的发展。目前,人脸识别和分析精度已经超过人眼。此外,人脸表情识别(Facial Expression Recognition,FER)作为人脸识别和分析技术中的一个重要组成部分也已经达到了前所未有的精确的效果,但对于复杂环境下的人脸表情图像(有遮挡、低分辨率、有额外噪声),想要达到同样的精确的识别结果是极其困难的。因此,通过设计人脸表情修复模型来解决复杂环境下人脸表情识别难的问题一直是本领域的研究热点之一。针对通常的人脸修复工作,以往的工作往往从人脸图像去遮挡和人脸图像超分辨率重建两个任务上单独进行研究。在模型设计上常以生成对抗网络(Generative Adversarial Network,GAN)为基础框架,结合landmarks或face parsing等语义信息对复杂环境下的人脸图像进行修复。但是,两种人脸图像均可以看作是不同噪声作用在原始图像上反映出的低质量结果。在处理此类问题时可以将两类任务合并成一类。此外,人脸图像在空间结构上的特殊性(空间结构相对稳定,结构对称)以及不同区域在尺度以及特征关系上的影响往往决定着修复结果的好坏。结合这些问题,我们提出了一种联合修复低质量人脸(有遮挡且低分辨率)图像的端到端网络,该网络以GAN为基础框架,使用图卷积网络(Graph Convolutional Network,GCN)强化人脸区域之间的关联性以及特征金字塔网络(Feature Pyramid Network,FPN)对人脸不同尺度上的特征进行提取。从而解决复杂环境下低质量人脸属性分析困难的问题。人脸表情识别作为人脸属性分析中的重要组成部分同样受到了复杂环境带来的影响。因此对低分辨率有遮挡的人脸表情图像进行修复也是一个亟待解决的问题。为探究表情这种更高层次的语义信息,我们提出使用人脸面部运动单元(Action Unit,AU)作为人脸表情修复中的先验信息,在提出的人脸修复模型的基础上通过添加预训练的AU分类器保证人脸修复结果表情信息的准确性。在验证模型在人脸修复上的有效性时,我们使用Celeb A和Helen两个常规人脸数据集从定量和定性两方面对实验结果进行了评估。之后为了验证模型在人脸表情修复上的有效性,我们在BP4D和DISFA两个通用表情数据集上进行了相关实验,证明了该模型在人脸表情图像修复上的有效性。
其他文献
黑色素瘤是一种高度恶性的肿瘤,是皮肤病中增长率、致死率和常见性最高的恶性肿瘤。黑色素瘤在早期阶段繁殖缓慢,如果在早期可以得到诊断并且及时治疗存活率会大大提高。传统的判断黑色素瘤的诊断方法主要是医生基于皮肤镜图像对皮肤病变区域进行判断,通常很耗时,并且诊断的准确性在很大程度上取决于医生的专业水平和诊断经验。计算机的自动识别是非主观的,可以辅助医生进行诊断。然而黑色素瘤在颜色、形状等方面有着极大的类间
学位
人体运动捕捉就是通过某些途径数字化地感知和记录人体在三维空间中的运动,进而通过人体数据来完成行为分析和动画驱动等任务。人体运动捕捉已经渗透到影视动画、游戏制作、体育、安防、VR/AR等领域,具有巨大的应用空间和商业价值,也是视觉多媒体领域的研究重点。近些年,人体运动捕捉技术取得了巨大的突破。然而现有的方法着重于解决单人或者非紧密交互的多人场景,对于一些生活中常见的紧密交互场景下的人体重建,却研究较
学位
咳嗽是儿科临床最常见的疾病之一,《素问·咳论篇》将咳嗽分为五脏咳和六腑咳。小儿具有"肝常有余,肺常不足"的生理特点,临床因肝累肺之肝咳并不少见。汪受传教授认为此类咳嗽证属肝火犯肺,病机为肝火炽盛,上逆犯肺,肺失清肃而致咳嗽,治宜以清肝泻肺为主法。在清肝的基础上联合清肺、泻肺、润肺、止咳、化痰等诸法,泻其肝火、肃降肺气。临证灵活加减,疗效显著。附验案2则,以资验证。
期刊
蛋白质是生命的物质基础,也是构成细胞的重要有机物,它与我们的各种生命活动息息相关,因此研究其功能对于推动生物学、医学等领域的发展十分重要。在本文中我们提出一种基于序列聚类的蛋白质功能预测方法,我们知道蛋白质的伪氨基酸组分不仅包括了蛋白质天然氨基酸的组分信息,还增加了氨基酸序列顺序效应的影响,因此本文通过调节不同的参数,提取了人类注释蛋白质伪氨基酸组分的特征向量,使用机器学习中无监督的谱聚类算法将各
学位
<正>余尚贞教授为国家卫生部临床重点专科、国家中医药管理局重点专科、广东省江门市五邑中医院脑病科学术带头人,广东省名中医。从医三十余年,师从国医大师梅国强教授,医德高尚,医术精湛,临床经验丰富,善于运用经典指导治疗内科杂病、疑难病。历来医家认为"脾为生痰之源,肺乃贮痰之器""其标在肺,其制在脾,其本在肾",多从肺脾肾论治咳嗽。余尚贞教授临证审证求因,治病求本,
期刊
恶意应用是移动终端用户面临的最严重威胁之一。由于恶意应用的恶意性、传播性和隐蔽性,恶意应用的检测往往落后于它的出现。虽然目前已从应用行为分析、特征提取和动态执行等多方面对恶意软件进行研究,但缺乏对恶意应用作者系统的、全面的分析。本文从Android应用作者的角度对应用程序展开研究,解决应用作者识别和行为分析问题。为准确识别应用作者,提出一种二阶段方法A~3Ident,包括作者解耦和作者识别两个阶段
学位
武汉东湖风景名胜区是典型的城市型风景名胜区,为进一步提升景区的品质,将东湖打造为世界城中湖典范和世界级城市生态绿心,武汉相关部门结合《武汉东湖风景名胜区总体规划(2011—2025)》开展了东湖风景名胜区喻家山服务区详细规划的编制工作。文章以东湖风景名胜区喻家山服务区详细规划为例,在分析服务区现状的基础上,提出了“完善保护区划、加强生态保护,强化功能结构、提升空间环境品质,突出东湖水域特色、明确功
期刊
基于植被净初级生产力和覆盖度的植被生态质量指数构建方法,对长白山自然保护区2000—2021年植被生态质量变化情况进行评估分析。结果表明:长白山自然保护区是吉林省绿色程度较高、生态环境好的区域,植被覆盖度和年净初级生产力总体呈上升趋势;生态质量指数随着海拔的升高而降低,2000年以来,植被生态质量指数总体呈上升趋势;96.6%的区域植被生态质量在持续提升,特别是西南坡增幅显著,生态质量变差区域主要
期刊
现实生活中,交流过程不止有说话声,更是充斥着各种各样的噪声干扰着沟通质量。因此,如何更好地抑制噪声对沟通的影响性,是一个急需解决的问题。语音增强是为更好的解决噪声对交互影响而出现的技术,主要目标是增强混合语音中的目标语音,从而在一定程度上使得增强后语音更易于理解。传统的语音增强只能较好的应对平稳噪声,对于非平稳噪声效果往往不太理想,最近深度学习的崛起在很大程度上解决了对非平稳噪声的抑制。由于频域处
学位
目标检测一直是计算机视觉领域比较典型的研究问题,在实际生活和工业场景中也得到了越来越广泛的应用。但是,由于目标检测中存在一些问题对于其性能提升造成了阻碍,比如:多尺度目标特别是小目标、目标之间相互遮挡、复杂环境的噪音干扰。因此,针对以上问题,本文从复杂场景及小目标两个方面着手进行了研究。论文的主要工作如下:1、针对多尺度目标检测任务存在小目标检测准确率不高,召回率较低的问题,提出了一个基于双通道注
学位