基于时空域深度学习的人脸微表情识别

来源 :西北大学 | 被引量 : 0次 | 上传用户:dolan525
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
微表情是指一种持续时间极短且不能自主控制的面部表情,它可以揭示人类试图隐藏的某种真实情感,因此在测谎、警察诊断、商务谈判、精神分析等方面得到了广泛应用。相比于宏表情,微表情持续时间在1/25至1/5秒之间,面部肌肉收缩或舒张幅度很小,因此识别具有很大难度。针对此问题,如何充分利用微表情的特点,有效地识别微表情已成为目前情感识别领域的研究热点之一。已有研究表明,一方面传统的手工特征可有效地提取微表情的特征,并在微表情识别方面取得了很好的性能,另一方面卷积神经网络在计算机视觉的多个领域,如图像分类、对象识别、行为分析等,表现出了强大的图像特征提取能力。基于此,针对微表情识别问题,本文提出了两个基于卷积神经网络的微表情识别算法。具体工作如下:(1)针对手工特征表达能力单一问题,本文构建了一个具有金字塔结构的CNN模型,提取微表情视频序列中峰值帧的CNN特征。同时,利用LBP-TOP算子提取视频序列的动态纹理特征。融合动态时空LBP-TOP特征与CNN特征,最终使用支持向量机进行微表情识别。(2)为了获取微表情视频序列各帧之间在时域上的关联性,本文提出了一种基于VGG-16网络的CNN模型与长短期记忆(Long Short-Term Memory,LSTM)网络相结合的微表情识别算法,称为CNN-LSTM深度网络模型。该网络中的CNN可以提取微表情视频中的空间域特征,LSTM网络则能够提取微表情视频在时间域上的特征,由此得到微表情的时空特征。最后,将LSTM网络各单元的输出求平均值,通过一个全连接层识别微表情。在CASME II微表情公开数据集,本文对于以上两种算法分别上进行了实验。实验结果表明,本文提出的两个算法均具有较好的微表情识别性能。
其他文献
近年来,随着互联网的普及和社交网站的发展,新浪微博作为一种主流的媒体形式和交流平台受到广泛关注,在用户量增长的同时,一大批机器用户也随之涌现,它们耗费系统资源、影响平台效率、混淆网民视听,尤其是其中的恶性用户大量发布虚假信息、散布谣言、误导网民舆论,严重污染网络环境,危害网民利益。本文以新浪微博用户为研究对象,旨在探索识别微博一类典型虚假用户——机器用户的有效方法。本文数据来源为新浪微博数据仓库,
随着移动通信技术的飞速发展,移动终端设备也随之剧增,导致通信系统能源损耗问题日益凸显。尤其是随着第五代移动通信技术的发展,大规模多输入多输出(MIMO)系统将成为下一代
气动测量具有非线性、高灵敏度、高精度且不受工件材料和形状等因素的影响,因而在工业生产中得到普遍应用和不断发展。但是传统的背压式气动量仪精度高(可以达到1μm以内),量
大规模在线开放课程(Massive Open Online Courses,MOOC)的论坛是教师理解和干预学习者学习活动的重要工具,论坛中存在着大量学习者的学习过程和体验数据。由于教师和管理人
工业机器人已广泛的应用于工业生产过程中,为此如何进一步的提高工业机器人的工作质量已成为我们不懈的研究方向。机器人是一个复杂的、多输入多输出的、非线性的多耦合系统
立体匹配是一种根据平面图像来恢复真实场景深度信息的技术,其做法是从两个或多个相同场景的图像中找出匹配点对,然后根据三角测量原理计算点对所对应的空间物理点的深度。立
人体动作识别已经应用于多个领域,是计算机视觉科学中的一个热门研究方向。动作在空间和时间维度上具有多样性和复杂性,以及动作识别是一些其它领域的关键,因此对动作识别的
随着执行器的不断发展,基于电热相变原理执行器因具备良好的形变特性、柔顺性等特性被研究者关注,该类执行器可与环境产生优异的共融性,在软操作设备、仿生设备、医疗等领域
播种作业是保证作物产量的重要环节,提升播种质量与效率对于保障国家粮食安全具有重要意义。气流输送式播种机是一种已在国外广泛应用的精量播种机,具有适应性强、效率高、节
随着广播电视事业的发展,广播电视无线传输领域经历了从电子管时代到固态化时代再到目前逐步进入的数字化时代,各广播电视无线发射台也逐步适应时代的发展,引入各个时期的技