基于改进生成对抗网络的微表情识别算法研究

来源 :山东大学 | 被引量 : 0次 | 上传用户:lx2000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
微表情是一种连续时间短、动作强度小、涉及面部区域小的自发表情。微表情识别在心理诊断、案件侦破、危险预警、交通安全、商业谈判、外交事务等领域都发挥着重要的作用。目前,微表情识别的最大的困难是样本之间的微小差异和缺乏足够的训练样本,导致识别率低下。现提高微表情识别率主要有三种方法,一种主要为特征提取和机器学习方法,如精细微表情特征抽取方法等。另一类主要为卷积神经网络方法,如尝试迁移其他领域的知识来改善识别性能等。还有一类为尝试用生成模型生成样本,将生成的样本用数据增强的方式加入训练集中提高样本识别正确率,但因目前国内外对于微表情生成的研究处于空白。基于上述情况,本论文提出了两种微表情生成模型:基于运动单元多标签的微表情生成对抗网络模型和基于重构跨域视频生成对抗网络模型两类生成模型,生成了清晰度、流畅度和真实性都较高的微表情视频片段。具体而言,本论文主要贡献如下:·提出了基于运动单元多标签的微表情生成对抗网络模型,将脸部运动单元(Action Units,AU)以多标签的形式加入生成对抗网络。时序生成器和视频生成器决定了微表情的时间序列和标签生成。图像生成器保证了微表情的图像清晰度高和视频动作效果良好。图像判别器确保了生成的图像内容与真实的微表情高度相似。视频判别器使生成的内容的动作与面部动作单元的细微动作轨迹一致。光流判别器引导生成器学会面部运动的细微差别。简易的注意力机制保证了生成高质量微表情的数量。通过将生成的样本作为数据增强的样本加入到微表情识别的训练数据集中,在CASMEⅡ、MMEW和SDU数据库上的识别正确率最高提升了 7.4%、4.3%和7%,证明生成的微表情视频样本质量高,实用性较强。·提出了基于重构跨域视频生成对抗网络模型,通过跨域的思想利用了宏表情的脸部情绪和身份信息,既扩充了微表情数据库的多样性,又保持了生成微表情的身份信息。利用重构的思想保证了生成的宏表情和微表情的真实性。通过将生成的样本作为数据增强的样本加入到微表情识别的训练数据集中,在CASME Ⅱ、MMEW和SDU数据库上的识别正确率最高提升了 7.4%、6.4%和10%,证明生成的微表情样本质量高,实用性较强。
其他文献
当代社会,随着人们越来越普遍运用手机、pad等便携电子产品接收与了解信息,人们越来越倾向于读图,而不是读文。在多媒体学习领域,承载信息的图片资源运用也越来越多,图片的普及意味着图片理解能力非常重要。图片是一种形象的可视化表征,虽然它形象直接,但对图片的理解却并不简单。一张图片中可以包含多层次的信息,对有些图片的理解甚至需要我们有必备的先验知识,图片中丰富的细节特征也往往使我们分不清主次,舍本求末,
2015年《专利法(送审稿)》第6条规定“执行本单位的任务所完成的发明创造为职务发明创造”,把《中华人民共和国专利法》第6条中“主要是利用本单位的物质技术条件所完成的发明创造”排除在外,并对“利用本单位的物质技术条件所完成的发明创造”的约定权属机制做出了由雇主优先向雇员优先的立法模式的转变。1为了与职务发明有所区分,本文提出将“利用本单位的物质技术条件所完成的发明创造”定义为岗位发明。《专利法(送
随着服务经济时代的到来,知识经济受到越来越多的关注。从国家角度看,知识可以提高国家经济发展水平;从企业角度看,知识可以为企业创造新的财富。因而知识产权保护制度重要性
传统化石能源的不断消耗以及环境污染是如今全球范围内面临的最严重的问题之一。因此,研发高性能、多功能化的新型能源材料以改善现有能源结构,充分利用清洁能源是材料领域的
图的标号作为图论学科研究的一个分支,在1966年由Rosa等人提出,目的是解决Ringel的猜想。图的标号是图的顶点集和边集到整数集的映射,根据对边标号的不同要求,产生了各种类型的标号,比如:优美标号、奇优美标号、幸福标号、奇优雅标号和边魔幻标号等。由于图的标号在复杂网络、大数据、计算机理论、运筹学、有机化学、系统科学和图形密码等众多领域中有着广泛的应用,许多研究者在此方面作了大量的工作,但标号中
当前,中国高等院校和外国院校的国际交流和合作正如火如荼地开展。金陵女子学院作为中国历史上第一所授予高等学历的女子大学,从创立之初就与美国的七姊妹文理学院交往甚密,但国内鲜少有全面阐述其关系的文章。本项目报告是基于《七姊妹文理学院和金陵女子学院》(The Seven Sisters a Ginling College)的翻译撰写而成,该翻译的文本主要介绍相关著名人物和事件,阐述七姊妹文理学院和金陵女
开放存取(Open Access,简称OA)于20世纪90年代末大规模地兴起,在传统期刊与开放存取期刊并行的环境下,科研人员在选择向OA期刊投稿时会遇到包括费用、同行认可等在内的诸多困
在科技飞速发展的今日,科研合作范围和数字化文献的规模日益扩大。合著网络是一种基于作者协作关系的网络且表现出复杂网络具有的小世界与无标度特性。合著网络主题演化是研究网络中主题随时间变化的规律,并且该研究已成为研究合著网络的重要方向之一。因此,引入复杂网络相关理论技术与方法来研究合著网络主题演化的规律是很有意义的。受限于当前有效数据集的缺乏和计算能力不足等原因,研究合著网络主题演化的方向主要集中在网络
自工业革命以来,人们主要利用化石资源(煤炭、石油和天然气)来生产燃料和化学品,但是这导致了碳循环的严重破坏,因此迫切需要科学界推进可持续碳源替代技术的发展。费托(FT)合成
研究背景与目的:丙泊酚因为其起效迅速、可控性好、清醒快而完全等优点,现广泛应用于临床麻醉、ICU镇静和无痛诊疗中。但丙泊酚对心血管系统有明显的抑制作用,可导致心输出量