基于空间与时序特征的微表情检测算法研究

来源 :河北工业大学 | 被引量 : 0次 | 上传用户:YWNDZDYWNDZD
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
微表情是一种自发式的面部表情,在人们试图掩盖内在情绪时产生,既无法伪造也无法抑制。微表情无法抑制的特性使其成为判断个人真实情绪的重要依据。因此,微表情被广泛应用于国家安全、心理医疗和警方执法等领域。微表情的持续时间短、运动幅度小,致使人工检测微表情十分困难。因此,近年来利用计算机技术进行微表情检测成为研究热点。本文针对微表情检测算法展开研究,具体工作如下:为了提高微表情特征描述符的表征能力,在空间域上,提出了一种基于运动边缘特征距离的微表情检测算法。首先,针对图像中包含人脸范围外的运动噪声与眨眼噪声的问题,提取人脸椭圆感兴趣区域,避免了人脸范围外的噪声。其次,针对微表情运动幅度小的特点,设计了一种基于FlowNet2网络的运动边缘特征。FlowNet2网络可以提取极小运动的光流信息,有效保留了微表情运动信息。在此基础上利用光流梯度幅值提取运动边缘特征,可以有效去除头部偏移误差与光流场中包含的视频序列累积误差,对微表情有更强的表征能力。最后,提出一种基于多帧平均特征距离的微表情检测方法,并设计了单帧噪声消除与持续时间过滤后处理,有效解决了检测过程中的单帧噪声与宏表情序列噪声,使微表情检测的结果更加精确。在运动边缘特征图的基础上,结合深度学习算法,设计了MED-TFBL(Micro-expression detection based on temporal features and balanced sample loss)网络,进一步提取视频序列的时序特征,实现了基于时序特征与均衡样本损失的微表情检测。首先,为了增加用于深度学习网络训练的视频序列样本,利用滑动窗口机制与时域插值算法进行数据集划分重构,扩充了用于训练网络的数据量。其次,将根据第三章算法提取的运动边缘特征图作为网络输入,为了解决运动边缘特征图数据维度大,信息冗余的问题,设计了基于卷积神经网络的特征优化网络。然后,提出基于Bi LSTM的时序特征提取网络,并结合注意力机制对时序特征的权重进行分配,使每帧图像的微表情时序特征对微表情检测对应不同的贡献分数。最后,针对微表情类与非微表情类样本数量严重失衡的问题,提出均衡样本损失函数,为不同类别样本的损失分配权重,改善了网络训练的效果,提高了模型的准确率。本文在CASME与CASMEⅡ数据集上进行实验。实验表明,本文提出的基于运动边缘特征距离的微表情检测算法,与当前流行的传统算法对比,检测结果TPR(True positives rate),FPR(False positives rate),F1(F1 Score),ACC(Accuracy)均取得了更好效果。提出的基于时序特征与均衡样本损失的微表情检测算法,与当前流行的深度学习微表情算法相比,取得了更高的检测准确率。
其他文献
食道癌(esophageal cancer,EC)是一种高度侵袭性的人类肿瘤,由于其早期症状不明显且缺乏有效的早期诊断方法,给食道癌的治疗带来严峻挑战。分子靶向治疗为探索食道癌的早期诊断和治疗评估提供了一种新思路。食道癌发病机制复杂,至今尚未有理想的高特异性和敏感性的生物标志物应用于该病的早期诊断。筛选更多更有价值的食道癌生物标志物是一个亟待解决的问题,对食道癌早期诊断具有重要意义。本研究主要通过
新课改的深入落实进一步推进了我国高中英语阅读教学质量的提高,教学评一致性逐渐走进了人们的视野,受到了教学者的广泛关注。教学评一致性是一种全新的教学理念,将教学评一致性应用到高中英语阅读课中具有深远的战略意义。详细阐述教学评一致性在高中英语阅读课中的实践,希望教学工作者能从中获得启发。
行人再识别的任务是在无重叠的视频监控网络中将一个或一组需要查询其中行人身份的图像与图库中大量候选人图像相比对,根据相似程度来识别待查询图像中行人的身份。其基本假设为:行人图像的捕获在相对较短的时间内完成,衣服和身体的形状没有太大的变化,可以用作识别身份的提示。本课题的难点为:(1)同身份行人在视图中有显著的变化;(2)输入图像较小,面部特征难以应用;(3)测试集相对于训练集处于完全开集识别状态,应
文本情感分类是指通过挖掘和分析文本中的观点、看法、情绪等主观信息,对文本的情感倾向做出类别判断。各领域评论信息呈阶梯式增长,为企业、用户参考评论信息对未来选择做出更加合理的判断提供依据。本文针对电商评论型文本进行文本情感分类研究。主要从三方面入手,一是基于情感知识的情感倾向性判定;二是结合情感知识与机器学习算法构造最优情感分类器;三是基于深度学习网络模型的情感分类研究。首先,针对长评论型文本的情感
碳包覆磁性纳米颗粒(CEMNPs)兼具磁性金属核芯和外层碳壳的性能优势,可作为一种新型可回收的吸附剂应用于水处理领域。但目前,对于CEMNPs的合成仍然存在一些问题,例如形态结构不佳、纯度低、磁性能及吸附效果差等,制约了其实际应用。因此,研究CEMNPs的合成工艺、改善其综合性能具有重要意义。针对CEMNPs作为吸附材料的性能要求,本文采用冷冻干燥技术和化学气相沉积法(CVD)合成了Fe/Fe3C
计算机科学与技术的发展不仅加快了图像编辑软件的开发速度,而且推进了图像处理技术的研究进程。如何快速高效地检测篡改图像是图像处理技术中一项长期存在且需要解决的问题。近年来,篡改伪造后的图像被用于科研、新闻报道和摄影艺术等领域,引起的学术造假、误导和欺诈等问题给国家和社会造成了巨大的损失。对此,本文根据现有的图像篡改检测知识,对图像篡改伪造问题做了以下研究工作:(1)研究了常见的图像篡改技术和图像篡改
城市化进程不断加快,交通拥堵、大气污染等城市交通压力影响着人们的出行体验,造成较低的出行幸福感。为打造绿色友好出行环境,提升居民生活幸福感,从幸福感角度研究交通出行决策十分重要。因此本文以出行幸福感视角下的交通出行决策为研究对象,分别剖析实际体验出行幸福感及居民环保意识引发的出行幸福感与出行方式选择之间的内在影响机制,对引导居民绿色出行行为具有重要意义。首先,本文梳理国内外出行幸福感相关研究成果,
党的十八大以来,习近平总书记多次强调要传承和弘扬中华传统文化。中医药文化是中国传统文化的瑰宝,是中国人民在千百年的中医药事业发展中孕育出来的宝贵财富。作为华夏子孙,我们肩负着将其继承、创新的责任。"中医药文化"是我们班级的特色,中医药文化这个学习项目使古老的传统文化在孩子们的心中焕发活力。一是与学生特长融合。对于"中医药文化"学习,孩子们全员参与、热情高涨,于是我鼓励他们根据自己的特长与兴趣
期刊
随着供热技术的不断创新和信息采集技术的发展,为热用户的行为节能提供了措施和手段,形成了用户可自主调节的新型供热模式,即供热计量温控一体化供热模式。然而当热力站和用户供需不匹配时,温控阀会频繁开启或关闭,供热系统水力工况波动大。为解决上述问题,本文以该供热模式下的供热系统为例,研究了基于用户行为节能的热力站调控策略,具体工作如下:首先,基于数据分析和问卷调查的方法研究用户的行为节能规律。通过历史供暖
多孔介质在自然界、日常生活及工程应用领域中广泛存在,其内部复杂微观几何形态及结构参数决定宏观热质传递特性。本文基于Micro-CT测试技术平台,开展一系列多孔介质微观实验研究,分别对干燥多孔介质点源入渗过程、含湿多孔介质相间接触面积以及典型多孔介质分形特征进行定量研究,主要结论如下:点源入渗实验结果表明,干燥温度决定具有骨架亲水膨胀性胶体多孔介质的物理力学特性,同时点源入渗湿分迁移过程呈现出沿骨架