基于局部注意力模型的面部表情动作单元对抗合成的研究

来源 :天津大学 | 被引量 : 0次 | 上传用户:xiawa371236585
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人工智能的发展,以人为中心的面部表情识别已逐渐受到业界和学术界的普遍关注。面部表情动作单元(Facial Action Units,AUs)是面部表情的重要客观描述,并且AU的检测与分析对于理解和描述人脸表情有着重要的意义。然而,由于AU标注的复杂性以及现有的AU表情数据集的相对较小等问题,如何对现有的AU数据集的扩充,以解决AU数据集标签不均衡问题,已经成为本领域亟需解决的一个问题。本文旨在基于条件对抗生成网络的方法,提出了一种局部注意力的条件对抗生成网络(Local Attentive Conditional Generative Adversarial Network,LAC-GAN)的方法,以合成多种AU的发生状态和强度。首先,根据局部AU划分规则计算AU注意力区域,并对全局人脸进行局部特征提取,得到相应的AU感兴趣区域。然后,针对所提供的AU标签,条件对抗生成网络对相应的AU局部感兴趣区域进行AU状态和强度的合成。最后,通过注意力机制来保证关注区域与非关注区域生成的一致性,并对全局人脸进行分类与判别,从而保证了图像质量上的自然性与真实性。基于本文的所采用的方法,即能够实现单一AU的合成,又能够实现由多个AU组合的具有一定自然度的人脸表情合成,增加AU表情数据集的多样性和普适性,进而来解决目前AU检测器训练数据标注不足和样本标签不均衡等问题。本文在BP4D和DISFA两个数据集上采用定性和定量两种验证方法对模型进行评估,以证实所提出方法的有效性。定性评估主要是对图像的生成质量进行评估。定量评估主要是对生成图像的AU定量指标进行评估,以证实所生成图像对目前主流的AU检测器是有效的。
其他文献
多层次时间序列指的是由加和关系限制的一组时间序列。多层次预测被广泛应用在电力需求预测、旅游业数量预测以及商业税收预测等统计学、经济学领域。现有的多层次预测方法通常基于一种“两步法”策略。首先,对层次结构中所有的时间序列单独进行预测,然后,采用不同的调和预测算法使其满足加和一致性的限制条件。然而,“两步法”不仅计算复杂度高,而且无法确保所有时间序列的预测是整体最优的。为了解决上述问题,本文从多任务学
随着深度学习技术的不断发展,计算机视觉领域与自然语言处理领域相结合的相关任务研究逐渐成为计算机领域中的一个研究热点。虽然之前已经有相关的研究,如图像语义描述生成以及视觉问答任务,但是这两个任务都只能通过单次交互帮助人类对图像中的信息有基础的了解,而现实生活中对图像中内容的理解是一个循序渐进的过程,即需要通过多次交互对图像中部分内容进行理解,进而通过不断累积最后实现对图像中全部内容的理解。因此,为了
视频问答是多媒体领域和计算机视觉领域中的热门研究课题。该任务要求模型能够根据视频内容和自然语言问题生成答案。这是一个多模态任务,需要问答模型同时对视觉信息和语义信息进行认知和理解,并且融合两个模态的信息进行推断。近年来一些学者开始关注更为复杂的视频问答任务及方法。其一是视频问答中的多步推理,即问答模型能够对包含多重逻辑运算操作如数学运算和属性比较的问题进行解答。其二是将视频问答与视觉定位两个多模态
随着商品物流的增加,特别是对外贸易的加大,在物流和仓储过程中,物体由于倒置或倾斜而引起的严重损坏增多。一些敏感的物体包装上特别标有物品需向上放置的标识,一旦运输过程中发生倾斜,轻则导致经济损失,重则发生危险。如家用电器,医疗设施,化学试剂等。此外,在图书馆中,书籍也会被垂直放置以便查阅。RFID(Radio Frequency Identification,射频识别技术)的兴起和不断完善给进一步提
稀疏数据是在数据集中绝大多数数值缺失或者为零的数据,如何挖掘稀疏数据特征之间的隐含关系从而对其进行预测分析是本文的主要研究问题。目前,主流的挖掘特征间隐含关系的方法无法较全面地抽取特征间隐含关系进行更深层次的学习。通过在特征学习过程中对特征和特征之间的隐含关系进行丰富和扩充,从而提高对特征间隐含关系的学习能力。本文提出一种基于特征之间隐含关系的稀疏预测方法,结合丰富的特征信息参与特征间隐含关系的自
知识图谱近年来得到了广泛应用和扩展,其标准数据模型RDF图数据表现出的复杂性、稀疏性和多样性,造成了RDF处理引擎在存储和查询过程的复杂性,进而导致查询响应的低效性。目前大部分引擎对常见RDF数据特征进行固定模式的处理,无法体现出灵活性。因此研究自适应的RDF处理方法对知识图谱数据处理具有重要意义。本文设计并实现了自适应的RDF处理方法,从存储和SPARQL查询两个方面来提升RDF数据处理的性能。
软件安全知识包括异质软件安全概念(例如,软件缺陷和攻击模式)和软件安全实例(例如,某个特定软件产品的安全漏洞),它们都可以被视为软件安全实体。软件安全实体间具有许多类型内以及跨类型关系。软件安全实体间的关系推理有助于丰富现有的软件安全知识,并对紧急出现的软件安全实体作出解释。然而遗憾的是,软件安全实体目前被记录在不同数据库的超文档中,这种超文档的表示方式不支持软件实体间关系的有效推理。此外,现有的
随着信息技术的发展,真实数据往往具有多视角的特性,即同一对象数据由多个模态或多个数据源构成。例如,对同一物体可以由其图片展示其特征,也可由语言描述其属性信息;一张自然图像可从颜色、形状、纹理等不同角度分别提取信息,由其共同表示。由于机器学习任务很大程度上依赖于数据的特征表示,而表示学习方法可以减少人工设计的难度和随意性,自动地从数据中学习出高效的表征。无论是监督还是无监督的任务,借助多视角数据丰富
本体公理学习,是本体工程中重要的任务,主要是从知识图谱中构建逻辑包含关系。近来,如何利用表示学习来从大规模知识图谱中学习本体包含公理是一个很大的挑战。一方面是知识图谱的规模越来越大,传统的本体公理构建方法无法应对如此大的规模;另一方面现有的知识图谱表示学习无法刻画谓词间的逻辑关系。因此研究能够表示谓词间逻辑包含关系的表示学习模型是此问题的关键。本文尝试学习保留谓词包含关系的表示和线性规划来解决这一
当深海环境涉及到一定深度时,常常会因充满未知和危险等恐怖因素而引起人们的恐惧情绪,对于患有深海恐惧症的人来说更是如此。而当今时代,随着海洋领域的发展出现了越来越多需要进入深海开展的工作。许多深海工作者必须经常潜入深海中直面恐惧并进行与认知有关的作业,而关于深海恐惧对认知的影响却不甚清晰。本研究探讨了沉浸式虚拟现实诱发的深海恐惧情绪对工作记忆(一种容量有限的认知系统)的影响。要求参与者在通过虚拟现实