【摘 要】
:
与普通的面部表情不同,微表情是一种自发且无意识的面部运动,它无法被刻意抑制和隐藏,能够展现人内心的真实情感。现有公开微表情数据库的样本量很少,这会导致深度学习方法应用在微表情识别任务时容易出现过拟合问题,此外由于微表情具有持续时间短、脸部肌肉变化幅度小的特性,现有的微表情识别方法很难有效地提取到微表情的鉴别性特征,从而导致识别准确率不高。针对上述问题,本文研究了用于微表情识别的鉴别性特征学习方法,
论文部分内容阅读
与普通的面部表情不同,微表情是一种自发且无意识的面部运动,它无法被刻意抑制和隐藏,能够展现人内心的真实情感。现有公开微表情数据库的样本量很少,这会导致深度学习方法应用在微表情识别任务时容易出现过拟合问题,此外由于微表情具有持续时间短、脸部肌肉变化幅度小的特性,现有的微表情识别方法很难有效地提取到微表情的鉴别性特征,从而导致识别准确率不高。针对上述问题,本文研究了用于微表情识别的鉴别性特征学习方法,主要研究工作如下:(1)为了降低微表情分类任务的计算量以及解决微表情数据库样本不足的问题,提出了一种基于双流卷积神经网络的微表情识别方法。该方法首先对微表情样本采用不同放大因子的欧拉视频放大算法进行预处理,一方面扩充了样本量,另一方面放大了不同类别微表情之间的特征差异,然后构建了双流卷积神经网络模型,接着将微表情视频序列的峰值帧图像和光流图(计算起始帧和峰值帧之间的光流信息得出)分别输入到模型的空间流支路和时间流支路对其进行训练,最后利用训练好的模型进行微表情识别。该方法兼顾了微表情空间上的外观信息和时间上的光流信息,能够使模型有效地学习微表情的时空特征,并且只使用了微表情视频序列的起始帧和峰值帧,降低了微表情分类任务的计算量。实验结果表明,该微表情识别方法在微表情数据库SMIC和CASME II上的识别准确率分别达到67.07%和72.72%。(2)为了解决微表情识别模型在训练阶段无法充分全面地学习到脸部各个区域的鉴别性特征问题,提出了一种带有辅助类别标签的微表情样本合成方法。针对某个微表情峰值帧样本,选取同一个实验个体但不同于其类别的另一个峰值帧图像,裁剪得到眼睛、嘴巴区域的图像块,并用裁剪得到的图像块替换原来峰值帧图像的对应区域得到合成图像,其对应的合成光流图也以同样的方式得到。利用这种方式合成的样本带有两个类别不同的标签,一个是眼睛、嘴巴区域所属的辅助类别标签,另一个是非眼睛、嘴巴区域原有的类别标签,将这种带有辅助类别标签的微表情合成样本输入到模型中进行多标签训练,训练时利用定义的损失函数能促进模型不仅仅只关注脸部变化相交明显的特定区域(嘴巴、眼睛区域),还关注一些脸部变化不明显的区域(非嘴巴、眼睛区域),从而使其充分全面地学习到脸部各个区域的鉴别性特征进而提升模型的识别准确率。实验结果表明使用该方法后,在微表情数据库SMIC和CASME II上准确率分别提升了3.05%和3.49%。(3)为了使微表情识别模型更加关注脸部鉴别性特征强的区域以及解决双流卷积神经网络两个支路提取特征相对独立的问题,提出了类激活图注意力机制。增加了类激活图注意力机制后的双流卷积神经网络,其空间流支路和时间流支路不再相互独立,空间流支路产生类激活图,利用此激活图对时间流支路的输入进行注意力增强,空间流支路所产生的类激活图表明峰值帧图像中哪些区域的微表情特征是鉴别性强的,为了让模型在光流图上也能关注这些鉴别性特征强的区域,利用类激活图对时间流支路的输入进行注意力增强。类激活图是空间流支路产生的先验知识,时间流支路有了先验知识的信息补充增强了模型对时空鉴别性特征的学习能力,从而进一步提升微表情识别准确率。实验表明利用带有辅助类别标签的微表情合成样本训练该网络,再用训练好的模型进行微表情识别,最终在微表情数据库SMIC和CASME II上准确率分别达到71.95%和78.63%。
其他文献
近年来,车联网(IoV)技术快速发展,车辆可以提供多媒体娱乐、自动驾驶等智能车载服务,为用户提供各种实时便捷信息,但是车辆任务对延迟、带宽和能耗的要求都变得更高。边缘计算引入了接近最终用户的分布式处理能力,提高车联网系统的服务质量(QoS),但边缘计算的高能耗和高碳排放引发了人们对绿色边缘计算的强烈需求。为了提供令人满意的计算性能并实现绿色计算,本文研究了面向车辆网的绿色边缘计算系统(GEC-Lo
随着科学技术的发展,各类新型汽车应用层出不穷,如增强现实(AR,Augmented Reality)导航、人机动态交互等,这些应用对数据转发的时延及可靠性都具有很高的要求,并且传统云计算无法满足所有新型应用的时延要求,因此车载通信中低时延高可靠的数据转发面临着巨大的挑战。随着移动边缘计算技术的提出,边缘缓存为车联网中低时延高可靠的数据转发提供了一种可行的解决方案。然而在实际场景中,不仅边缘服务器的
车载网络的发展日新月异,传输数据从单一的控制数据向多种类型的数据模式发展,对现有的车联网系统解决方案提出了迫切的创新需求。即时译码网络编码技术(Instantly decodable network coding,IDNC)是一种机会网络编码技术,其原理根据接收状态信息对数据包进行异或编码操作,可以有效地减少数据包的译码时延,十分符合车联网的使用场景。此外,对车联网的中的节点进行分簇不仅可以有效地
近年来,智能交通行业蓬勃发展,涌现了一批改善驾驶体验及安全性的车载应用。然而这些应用服务多是计算密集型或时延敏感型的,这对移动车辆存储和计算能力带来了严峻的考验。另一方面,传统的基于云服务的卸载方案由于云服务器离移动车辆太远,无法满足低时延要求车载应用。通过将移动边缘计算技术引入车联网,在网络边缘侧部署移动边缘服务器,可以显著提高车辆在通信、存储和计算等方面的能力。本文研究了车联网环境下基于移动边
量子密钥分发(Quantum Key Distribution,QKD)协议可以为合法的通信双方提供安全的密钥,其安全性由量子力学定律所保证,在理论上具有无条件的安全性。近年来,双场量子密钥分发协议(Twin-field Quantum Key Distribution,TF-QKD)的出现突破了QKD协议的限制,引起了QKD领域各方研究人员的关注。其改进协议“发送或不发送”量子密钥分发协议(Se
在目前教育产业背景下,智能阅卷相较于手工阅卷在时间和成本上具备巨大优势,而基于光标阅读机的智能阅卷算法在使用成本和应用场景上存在诸多限制。深度神经网络凭借着强大的特征抽取能力,逐步在智能阅卷领域占据一席之地。本文以深度神经网络为基础,针对算术试卷设计了一个端到端的智能阅卷算法,能够以较快的速度完成算数试卷的智能批阅,其研究内容主要如下:(1)为了降低网络参数和解决特征融合的冲突问题,提出基于深度卷
如何评估患者的运动功能康复水平,对治疗师康复方案的制定至关重要。临床上现有方法大多基于不同类型量表进行,受治疗师主观临床经验制约明显,而且每次只能在训练前后接受康复评估,难以实时反映患者的康复进展,具有一定的局限性。近年来随着MEMS、可穿戴与人工智能技术的发展,基于上述技术融合的运动康复评估方法得到了广泛的关注。针对上述研究背景,本文通过融合康复训练过程中患者的运动姿态与表面肌电信号,开展基于H
近年来,随着GPS定位技术的广泛发展,基于位置服务的通讯技术成为人们日常生活的重要组成部分。精确的出租车轨道预测有利于许多基于位置的智能服务,例如给乘客精准的广告投放等。传统的轨迹预测方法主要包括聚类、Markov链等基于出租车历史轨迹的目的地预测算法。随着人工智能的发展,基于深度学习的轨迹预测方法通常采用卷积神经网络(Convolutional Neural Network,CNN)或者长短时记
因其具有巨大的并行性,量子计算一直获得广泛的关注。相对于经典算法,量子算法利用量子系统特有的纠缠性、叠加性和相干性,能够实现多项式加速,甚至是指数级加速。虽然量子算法的运行时间更短,但当数据的维度过高时,量子算法也会如经典算法一样陷入“维度诅咒”,即随着数据的维度变高,计算量呈指数增加。降维算法,即将高维度数据映射成低维度数据,是经典计算中解决“维度诅咒”问题的一种方法。同理,为了解决量子计算中的
近年来,同步定位和建图(Simultaneous Localization and Mapping,SLAM)在自动驾驶、飞行器等智能领域中扮演着重要角色,它用于解决在未知环境下的自身定位、地图构建等问题。视觉SLAM和激光雷达SLAM技术得到越来越多学者的关注,但在单目视觉SLAM中仍存在着定位和建图的一些问题,以及在激光雷达SLAM中存在实时定位的问题。本文针对以下问题开展研究:1)在视觉SL