基于图结构表达的人脸微表情识别技术

来源 :西南大学 | 被引量 : 0次 | 上传用户:yqhbyctu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
微表情是一种持续时间短、强度微弱的自发面部表情,并且难以通过肉眼进行识别。由于微表情的发生不受人们主观意识的控制,因此能够揭示人们内心真实的情绪。微表情在案件侦破、心理疾病诊断以及商业谈判等场合中,具有重大的应用前景。微表情是由微弱的肌肉运动产生,并且相关的肌肉运动只发生在局部的区域,导致微表情的特征难以被算法模型捕获。在现有的研究中,微表情识别算法并没有达到理想的识别效果。现有的微表情识别算法通常是基于人脸的全局特征、局部特征或者全局特征与局部特征的结合,很少对人脸局部区域之间的关系进行关注。微表情局部肌肉之间的运动关系能够表达微表情的运动模式,对于提升微表情识别的效果具有帮助。图结构表达是一种基于结点和边的特征表达方式,其优势在于不仅可以通过结点来关注局部区域的特征信息,而且能够通过边来捕获局部区域之间的关系。论文将微表情定义为图结构表达,其中基于人脸特征点的窗口被定义为结点,同时窗口之间的关系被定义为边。理论上,基于图结构表达的算法模型能够捕捉到更具鉴别性的微表情特征。针对上述问题,论文提出一种新颖的基于图结构表达的微表情识别技术。首先,论文通过基于深度学习的运动放大网络,将微表情微弱的肌肉运动进行了放大,并从中间层提取放大后的几何特征。其次,为了更好地提取人脸局部区域的微表情特征,论文在放大后的几何特征上提取微表情的显著贡献区域来构建图结构表达。接下来,论文提出两种基于深度学习的算法来自适应地学习图结构表达并完成微表情识别。两种算法分别是基于图结构表达和时间卷积网络的微表情识别算法(Graph TCNet),以及基于图结构表达和动作单元的微表情识别算法(FGFAUNet)。在Graph TCNet算法模型中,一个通道学习结点特征,另一个通道学习边特征,最后,两个通道进行融合并完成微表情识别。在FGFAUNet算法模型中,结点特征的学习是采用深度可分离卷积中的depthwise卷积,边特征的学习是采用Transformer中的encoder。随后通过神经网络的训练,得到图结构表达的特征表示。此外,动作单元的特征是通过word embedding和图卷积神经网络来学习。最后,论文提出一种融合机制将动作单元特征融合进图结构表达中,并完成微表情的识别。论文提出的Graph TCNet算法模型和FGFAUNet算法模型在多个分类标准的数据集下进行了算法验证,其中包括CASMEⅡ、SAMM的单一数据集和两者的复合数据集以及2019微表情挑战赛的数据集(包括CASMEⅡ、SAMM以及SMIC)。各项算法验证均取得了当前具有竞争力的识别率,实验结果表明论文提出的方法能够改进微表情的识别效果。
其他文献
棉具有质轻柔软、亲肤舒适、易加工、可再生和可降解等特点,是世界天然纤维消费量最多的纺织纤维。棉纺织品与人类生活联系紧密,其极限氧指数仅有18%左右,属于易燃物,使用不当很容易引发或加剧火灾,导致人员伤亡和经济损失。因此,对棉织物进行阻燃整理以提高其阻燃性对人们生活安全意义重大。目前,市场上的棉织物阻燃使用的阻燃剂主要是Pyrovatex CP和Proban,这两种阻燃剂整理的棉织物具有良好的阻燃性
学位
近年来,随着大数据时代进程的不断推进,传统的单机处理方法由于受硬件技术的限制难以有效处理大数据储存和计算任务,因此群体智能系统作为全新的分布式计算方式应运而生,并吸引了众多科研工作者的兴趣和关注。当下热点科学工程研究领域中的许多决策、学习和控制问题可被归纳为群体智能系统下的最优化问题,其中每个子系统代表网络中的一个节点,每个节点有一个仅它自己知道的任务。相比于传统的集中式优化方法,分布式优化方法不
学位
混沌系统的初值敏感性与不可预测性等特性与密码学的基本原则密切相关。同时,由于离散混沌系统具有优秀的混沌性能、迭代速度以及易于实现的优点,在图像加密算法中引入离散混沌系统不仅可以避免随机性退化的问题,还能降低算法的时间复杂度。因此,本文首先根据不同的理论模型构造了具有丰富动力学行为的离散超混沌系统。之后,基于构造的离散超混沌系统设计了几种新的图像加密算法,并分析了它们的性能。论文的主要工作如下:(1
学位
在这个网络高速发展的时代,神经动力学算法因具有大规模并行处理能力和快速收敛特性等,成为目前解决优化问题的主流方法之一,而多智能体系统作为一种新的分布式计算方法,是研究大规模复杂系统的重要工具,因此研究分布式的神经动力学算法已成为目前的热门研究话题。近年来,越来越多的科研者们关注到许多优化问题的目标函数是与时间相关的,如智能电力系统、机器学习、无线传感器等,因此针对时变优化问题的研究也成为了当下新兴
学位
光混沌保密通信一种基于混沌同步的安全通信方式,混沌同步的实现要求收发端硬件参数高度一致,这使得混沌同步在硬件实现方面具有一定的难度尤其是复杂的混沌发射机系统。因此,探索一种简易高效的方法来解决在高速、高复杂度情形下的混沌同步瓶颈具有一定的研究价值。储备池计算(Reservoir Computing,RC)作为一种神经网络计算新范式,能够高效处理与时序相关的机器学习问题,训练过程简单,并在动态系统识
学位
精神疲劳严重降低认知效率,已经成为一种普遍的亚健康问题。无论是在强压力工作环境下还是弱压力工作环境下,长期处于疲劳状态的人更易引发各种身心疾病。对于精神疲劳状态引发的相关健康风险,早预警才能早干预,因此对精神疲劳的评估和检测极其重要。目前的疲劳相关研究大都采用短时间的实验室任务诱发疲劳状态,也并未考不同程度的精神压力对疲劳的影响。因此,本文在3中真实生活环境下采集不同精神疲劳状态的心电数据,使用有
学位
多智能体协同控制在群体控制、传感器网络、集体决策和分布式计算等领域有着广泛的应用,受到了越来越多学者的重视。跟踪问题作为协同控制的一个基础问题,它是通过邻居智能体与领导者之间的信息交互,使所有智能体状态都能跟随领导者。然而,由于系统的动力学模型难以用精确的数学公式来描述,这使得多智能体系统的跟踪控制器的设计成为一个挑战。近年来,数据驱动控制在求解复杂非线性系统的控制问题方面展现出了强大的处理能力。
学位
随着现代社会的快速发展,新型电力系统频繁出现在人们的视野。电力系统状态估计作为现代电力系统的运行和控制至关重要的一环,其主要用于系统监控,通过对电表测量值的分析来估计系统状态,并侦查恶意攻击者注入的不良测量值。然而,许多网络攻击,如虚假数据注入攻击,可以绕过传统的检测方法,干扰网络的正常运行。虽然已有研究侧重于在直流状态估计中检测此类攻击,但交流系统中的攻击检测也很关键,取决于交流状态估计在电力设
学位
在地质灾害的治理过程当中,高陡岩质边坡极为常见,主因为此类边坡施工难度大。治理过程需将边坡稳定性和其他因素考虑其中,选择治理方案,保证施工安全,控制施工成本。在此之前,需要对此类边坡展开勘察设计,分析地质灾害成因。因此,对高陡岩质边坡特点进行介绍,分析其地质灾害勘察设计重点和路径,为从事勘察设计领域的人员提供参考。
期刊
备受关注的核方法与自适应滤波(AF,adaptive filtering)算法的结合产生了再生核希尔伯特空间(RKHS,reproducing kernel Hilbert space)的核自适应滤波(KAF,kernel adaptive filtering)算法。虽然KAF算法已作为信号处理领域中重要的工具被广泛应用于处理各种非线性任务,但是其估计量的函数表示会随着输入数据的增多而变得更复杂,
学位