基于图卷积神经网络的微表情识别算法研究与实现

来源 :西北大学 | 被引量 : 0次 | 上传用户:missile60
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
微表情是一种人类在试图隐藏某种情感时无意识做出的,短暂的面部表情,其持续时间仅0.04秒至0.2秒。与之相对的,持续时间在0.75秒至2秒的表情被称为宏表情。微表情作为一种自发的面部表情,是无法人为控制的,因而微表情相较于宏表情能够更准确表现出人们内心的真实情感。基于这种特性,微表情在精神疾病的诊断和重大犯罪案件的审讯等方面具有重要的参考价值。传统的微表情识别方法首先提取手工设计的特征,然后使用机器学习算法进行分类。这种方法极度依赖手工设计的特征好坏,而且通常其分类准确率较低。基于卷积神经网络的深度学习方法已广泛应用于微表情识别,与传统方法相比,大幅提升了微表情识别的准确率。但受限于微表情动作持续时间短,强度低等特点,深度学习的微表情识别算法仍有待进一步提高。基于微表情的上述特点,本文在以下三个方面进行了研究:(1)提出了一个单输入,单输出的网络模型。输入微表情光流序列,经过3D卷积神经网络初步获取面部动作单元特征,再经过基于面部动作单元相关性的图卷积网络进一步获取面部动作单元特征,最后根据获取到的面部动作单元特征进行微表情分类。(2)提出了一个双输入,单输出的网络模型。同时输入微表情光流序列和微表情图像序列。从微表情光流序列中获取面部动作单元特征作为面部局部信息,从微表情图像序列中获取面部整体信息,最后将面部整体信息和局部信息融合,进行微表情分类。(3)将本文提出的基于图卷积神经网络的微表情识别算法加以应用,设计了一款微表情识别系统。本文提出的微表情识别网络模型,在两个公开数据集SMIC和CAMSEⅡ上分别进行了实验,取得了良好的效果。
其他文献
中华文化历史悠长,随着时代的更迭遗留下无数文化瑰宝。随着时间的推移,环境的变化,文物正慢慢消亡。将文物数字化可以使其永久保存,而建立出具有真实感的文物三维模型是历经时代消磨而受损的文物进行数字化重建的重要基础。要想完整地还原文物本来面貌,得到具有真实感的文物数字模型,精细的三维建模与真实感渲染都是必不可少的。目前在文物三维建模研究中仍然存在文物点云周围环境噪点多、稠密点云数据量大影响重建效率以及重
学位
随着大规模物联网(Internet of Things,IOT)和人工智能的飞速发展,未来的移动通信网络应满足高数据传输速率、低时延、海量连接等要求,并可借助无人机(Unmanned Aerial Vehicles,UAV)、卫星等通讯设备建立“空-天-地”一体化通信网络,实现全球覆盖的无线连接服务。其中,无人机通信通过利用无人机机动性高、部署灵活的优点,可实现以视距传输(Line of Sigh
学位
基于声呐图像的目标检测是水下感知领域的重要组成部分,在水声学研究中应用广泛。然而,水下环境复杂,声呐成像实验成本较高,声学图像的数量和质量难以得到保障。国际上用于研究的声呐数据集公开程度有限,基于监督学习的算法性能在很大程度上又取决于所采集数据的数量和质量,这些问题限制了水下目标检测任务的完成,因此进一步扩充声呐图像数据集成为该领域亟待解决的重要问题之一。现有的研究多基于旋转平移等操作,与声呐成像
学位
业余无线电在社会生活和灾难应急响应等领域均发挥着重要作用,无线电爱好者人数的不断增加,使得业余无线电事业的健康发展和管理都面临着重要挑战。现有的管理方法是通过考试获取操作证书,注册获取电台执照,这种方法无法对电台所发射的信号进行身份认证,难于跟踪监管。本文主要开展FM电台射频信号指纹的提取方法以及基于射频指纹的电台跟踪监管方法研究。本文首先依据FM电台组成原理,分析各部件产生的偏差对射频信号的影响
学位
近年来,随着航天事业的飞速发展,卫星的应用领域也越来越广泛。基于卫星发射成本高、在轨工作时间长和在轨维修难度高等问题,在卫星发射前有必要对舱内通信设备完成在地的全方位检测。本文详细分析了某型号卫星舱内通信的功能需求,提出并论证了数据通信地面检测设备的设计方案的可行性,完成了设备的功能电路设计、可编程逻辑门阵列(Field Programmable Gate Array,FPGA)逻辑设计以及数字信
学位
视觉问答属于计算机视觉和自然语言处理的交叉研究领域,它需要对不同模态输入的图像和文本进行处理,给出一个符合人类思维的合理答案。视觉问答在盲人群体、图像检索、交通出行、媒体娱乐等方面有广泛应用,因此有重要的研究价值。在视觉问答早期的研究方法中问题和图像之间的交互大多很简单,忽略了每个问题单词和每个图像区域之间的密集交互,这不足以对图像和问题之间潜在的复杂关系进行深度建模;此外,大多数方法还忽略了同种
学位
基于Wi-Fi信道状态信息(Channel State Information,CSI)的人体动作识别是最近兴起的一项技术,它可以实现低成本的人类活动感知,避免隐私泄露,同时具有非接触、不受光照影响等优点。然而,基于Wi-Fi CSI的动作识别技术一大难点是跨场景识别,这会带来一系列的挑战,例如模型复杂、目标场景数据是否充足以及动作特征提取算法能否在目标环境中表现稳定等问题。随着Wi-Fi的大规模
学位
波达方向(Direction of Arrival,DOA)估计通过分析接收到的传感器阵列数据来估计信号的角度,以便更好的进行波束形成或确定目标位置。传统的DOA估计方法都是参数化的,它们假设输入与输出之间的映射关系是可逆的。而在真实的DOA估计场景中,信号会受到各种未知因素的干扰,例如阵列误差和阵元失效等,这些未知干扰会对传统DOA估计方法的性能产生很大影响。另外,基于机器学习的DOA估计方法极
学位
能谱计算机断层扫描(MECT)的新一代自适应统计迭代重建(ASi R-V)技术在临床影像学上应用广泛,成像过程中不同的能量值和ASi R-V混合权重对图像质量有不同程度的影响,因此对眼动脉能谱CT图像进行精准的质量评估至关重要。传统的图像质量评估方法包括主观和客观两个角度,由于医学图像的复杂性和特殊性,主观评估耗时耗力且观测者间存在主观差异,并且医学图像客观无参考质量评估没有统一完善的方法。使用深
学位
毫米波(Millimeter-wave)技术有望在未来几代移动通信技术以及成像、监测等信息领域中发挥关键作用,雪崩渡越时间(Impact-Ionization-Avalanche-Transit-Time,IMPATT)二极管作为毫米波固态源在效率、功率特性等方面有着明显优势。第三代半导体材料(SiC,GaN)有着临界电场高、载流子迁移率高、导热率高等优点,已成为人们备受关注的IMPATT二极管等
学位