基于3D-CNN的微表情识别研究

来源 :烟台大学 | 被引量 : 0次 | 上传用户:sinolee
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
面部微表情是指面部肌肉的瞬间变化,表明一个人正在有意识或无意识地抑制自己的真实情绪甚至心理活动。因此,微表情识别吸引了生理学科和计算机视觉研究范围的多种研究工作,在生理学科方面的心理学领域应用广泛,作为测谎的理论基础,也可以在临床诊断、刑事审问、交易谈判等方面发挥作用。微表情识别方面研究一直处于初级阶段,主要问题在于由于微表情的面部表情受压小和持续时间短,这对捕捉视频中的微表情进行检测来说十分困难,对于微表情数据库中训练数据的收集带来一定的难度,影响模型实验结果。随着深度学习的发展,计算机视觉成为近年来研究热门领域,各种理论与技术相继出现,对微表情识别起到很好的推动作用。深度卷积神经系统已证明对困难的面部识别任务具有高度的有效性,本文在此基础上探讨了将卷积神经网络模型扩展为3D卷积神经网络,提出使用两种能够同时作用于时空领域的3D模型提取视频中的动态表情信息,将所提出的模型在微表情数据集上训练,得出模型的准确性,并与传统方法对比,展示实验结果。本文中研究工作包括以下三个方面:(1)针对视频中动态微表情序列,提出使用3D卷积神经网络模型提取特征,其中一种结构为能够处理视频中RGB流的3D卷积神经网络模型,将视频中检测到的面部轮廓当作识别对象处理,网络结构简单;另外一种是使用GoogLeNet网络架构作为模型基础,将其中的Inception子结构从空间领域扩展到时空三维领域处理动态视频,并且作为同时处理视频中的RGB流与光流的双流3D卷积神经网络。(2)将提出的3D卷积网络模型在Tensor Flow平台上训练,使用GPU并行计算提高实验效率,用于实验的数据集为CAS(ME)~2和SM IC两种微表情数据集,将测试得到成果与历年来的方法对比分析,取得相对较好的测试准确率。(3)最后,搭建一个基于Web的微表情识别服务应用,对输入视频中的微表情给出分类准确率测量。通过WebRTC技术中的音视频引擎获取视频流信息,通过Kurento人脸检测模块与过滤器模块获取视频流中有效的信息,最后介绍了系统的整体架构与流程。
其他文献
随着社会的巨大进步和经济的快速发展,环境与能源等问题受到广泛关注,电力电子化电力系统的概念成为未来微电网发展的主要方向。在大电网难以接入的偏远地区,新能源在整个区域微电网中所占比重较大且渗透率较高。因此,电力电子变换器与传统发电设备——同步发电机之间的协调运行成为不可忽视的问题。由于两类系统的机电惯性等因素具有较大差别,光伏逆变器的并入规模与外界扰动可能会对此类组网系统的稳定性造成较大影响,因此对
在金融科技的驱动下,智能服务行业日渐兴盛,并且通过将传统金融与互联网融为一体,以其低成本、低门槛、技术创新程度高等优势,促使大批金融机构和客户参与其中。智能服务行业,虽然发展速度快,却存在诸多难以忽视的问题亟待解决。其中,信用问题频发尤为突出,无论是对于提供还是接受服务的双方都会产生极其不利的影响。为保护双方利益、实现金融平台安全运营以及行业健康发展,建立智能服务交易主体的个人信用评估模型是有其必
学位
随着后基因时代的来临,越来越多的未知功能的蛋白质序列也在被迅速的被发现,预测蛋白质的功能是后基因时代的主要挑战之一。癌症凝集素是一种在肿瘤细胞分化和转移中发挥重要作用的蛋白质,准确鉴定出癌症凝集素有助于明确癌症治疗发展的方向。然而,传统的生物化学实验方法既费钱又耗时,现有的基于计算机的鉴定方法也不尽如人意。鉴定效果不够好的主要原因是输入分类模型的特征没能很好的表达出蛋白质的复杂性与序列多样性。因此
健康服务业与人们的生活息息相关,经过这些年的迅速发展,已成为我国的朝阳产业。随着新世纪互联网的快速成熟,健康服务业也出现了许多新的服务模式,尤其是互联网健康服务平台的出现,将线下零散的健康服务资源进行整合,为用户提供了更加方便快捷的健康服务。健康服务平台需要根据预约信息,将专家分派到不同的服务站中去为用户提供服务。在线下存在多个健康服务站的情形下,平台需要考虑如何高效合理地调度专家。本文对多服务站
随着图像数据的爆炸性增长,图像处理变得越来越重要。显著性目标检测是图像处理的重要研究方向之一,目标检测因其在真实世界的大量应用需求,比如自动驾驶、视频监控、机器人
有机半导体材料的电学,光学或光电行为是研究其光电子器件十分重要的参数。包括太阳能电池,场效应晶体管,光电探测器,传感器/智能检测等应用都存在有机半导体的身影。苝酰亚
在过去的几十年里,教学视频在教育领域应用逐渐广泛,其数量和质量都得到大幅增加和提高,成为了最受欢迎的学习方式之一。学习者可以通过中国大学MOOC、MOOC中国、网易公开课
为了更好地在新一轮能源产业变革中提供技术支撑,逆变器系统作为分布式微网系统的重要接口电路,不仅要满足清洁可再生能源发电对小型轻量化及冗余性的要求,还要保证其在不平衡工况条件下的供电质量。高频链矩阵式逆变器通过高频磁耦合的方式实现源、荷隔离,在保障用电安全的同时减小了系统的体积质量,利于系统的安装调试;三相四桥臂逆变器由于多出了一个桥臂,在其控制中相应地可增加了一个自由度,便于对不平衡工况下的零序电
本文主要考虑二次矩阵方程AX2+BX+C=0的数值求解方法.二次矩阵方程在材料学、物理学、工程学、控制理论和计算科学等诸多领域有着广泛而深刻的应用.对其解的数值求解方法是数值代数的重要研究内容.特别是近十几年随着计算机技术的飞速发展,非线性矩阵方程的数值解在计算数学领域和工程控制领域都逐渐发展成为了一个非常热门的课题.Higham等人于2001年提出了一种求解二次矩阵方程的带精确线性搜索的精确牛顿
无线片上网络(Wireless Network-on-Chip,WiNoC)可以实现高效的片上长距离通信,克服了传统金属互联片上网络长距离多跳传输带来的高能耗、高延迟通信瓶颈问题。在无线片上网