【摘 要】
：
面部表情识别是人脸研究的一个非常重要的模块,有广泛的应用场景,例如在智能安防场景下可以识别群体的情绪,来避免突发事件;在公安刑侦审讯过程中识别嫌疑人的微表情,来辅助办案人员判断其是否说谎;在网络授课过程中,通过摄像头捕捉学员的面部表情,来判断学生是否对授课内容存疑。但是仅仅是六种基础表情不足以描述复杂的人类情绪,针对这一问题,选择面部表情更为基础的单位——面部运动单元,而这些面部运动单元的组合可以
论文部分内容阅读
面部表情识别是人脸研究的一个非常重要的模块,有广泛的应用场景,例如在智能安防场景下可以识别群体的情绪,来避免突发事件;在公安刑侦审讯过程中识别嫌疑人的微表情,来辅助办案人员判断其是否说谎;在网络授课过程中,通过摄像头捕捉学员的面部表情,来判断学生是否对授课内容存疑。但是仅仅是六种基础表情不足以描述复杂的人类情绪,针对这一问题,选择面部表情更为基础的单位——面部运动单元,而这些面部运动单元的组合可以用来描述更多的人脸表情。本文以深度学习为基础,研究面部运动单元检测方法,提出了两种面部运动单元检测算法,本文的主要研究成果如下:（1）针对部分面部运动单元占面部区域的面积小而经过大量卷积操作将会导致小目标细节特征丢失的问题,设计了非局部通道注意力模块NLCA Block,利用该模块的易移植性,将其嵌入到ResNet50和EfficientNet-B3网络结构中。鉴于从头训练ResNet50和EfficientNet-B3需要大量的数据,因此使用迁移学习,在ImageNet上训练的模型中恢复卷积层参数,再利用面部运动单元数据集进行微调,以完成面部运动单元的特征提取。实验证明NLCA Block在网络浅层部分更具有获取上下文语义优势,有助于提升小目标检测的准确率。此外,也利用其捕捉长距离特征的优势隐式学习了AU与AU之间的共现关系。本文设计的两种模型均在BP4D和DISFA数据集上进行了实验,证明嵌入NLCA Block的模型比现有的一些面部运动单元检测模型效果好,也具有良好的泛化能力。（2）针对面部运动单元数据集的AU样本分布不平衡以及难分类样本的问题,提出使用焦点损失Focal Loss来解决这一问题,并针对焦点损失的控制正负样本参数α和控制难易样本参数γ的多种取值进行实验,还设计了AU多标签共现关系损失函数来隐式学习AU之间的联系,隐含地增加样本较小的类别数据量,该算法在CK+数据集和BP4D数据集上均取得了良好的精度,证明在面部运动单元检测任务中,使用焦点损失和AU多标签共现关系损失函数对检测精度提升是有效的。
其他文献
红外和可见光成像技术在军事、医疗、安防、交通、电力等领域都有着广泛的应用。图像融合旨在综合多模态图像表征的关键互补信息,创建信息更加全面和完整的融合图像。因此,红外和可见光图像融合既有助于丰富人类视觉理解和提升模式识别效果,又能够推动红外和可见光成像技术的进一步应用发展,具有重要的研究意义和应用价值。为满足实际应用要求,本文利用深度学习技术深入挖掘了多模态图像的语义信息,开展了基于深度学习的红外和
现有很多基于WiFi的室内定位技术能够在实验室环境下达到较高精度。但是由于室内场景日趋规模化,室内定位算法从实验室环境迁移到大型复杂环境需要解决新的技术问题,即高成本的指纹库构建。目前已有研究半监督条件自编码器SCVAE（SCVAE,Semi-supervised Conditional Variational Auto-Encoder）致力于构建低成本、高密度的虚拟指纹库解决这一问题,但由虚拟指
现如今,随着工业化和信息化的逐渐融合,科学技术与产业技术呈现出越来越明显的交融态势,以机器人系统为代表的智能化产业不断繁荣起来,在应对高度危险的辐射环境、应急救援以及新冠肺炎疫情防控中都有着重要的作用。利用机械臂进行抓捕操作,是机器人系统的重要应用手段之一。由于机械臂的抓捕范围有限,抓捕实验的第一步是利用视觉导航功能,使机器人运动到离目标物体较近的距离。在机械臂抓捕范围之内,还需要利用位姿估算法识
近年以来,我国对海洋领域的开发和管理一直在快速发展,对海洋信息的利用正不断成为我国发展的战略核心。数据作为海洋信息研究的核心和关键,其质量和精度往往会影响对海洋信息的分析,我国对海洋数据的采集主要依赖海测舰船上的多种传感器设备,但目前仍缺乏一种有效的方法对舰船多传感器采集的海洋数据进行实时融合以提升传感器采集精度。海测传感器在进行数据采集过程中往往要面对采集环境复杂,设备故障等多种问题,导致采集数
近年来,我国在海洋信息领域的研究和开发正处于快速发展阶段,海洋数据的高效处理和应用是促进海洋科技进一步发展和获取国际竞争优势的关键。目前海洋数据呈现出时空关联性强,格式种类多样的特点,带来了异源数据分析难度大、处理效率低等问题,同时现有的舰载海洋数据处理系统仍处于起步阶段,机器学习理论在海洋数据处理和分析的研究较少,因此通过机器学习理论提高海洋数据处理系统实时处理和分析的效率,对我国海洋强国的建设
医学图像分割是医学图像处理与分析领域一个复杂而关键的步骤,其目的是将医学图像中具有特殊含义的部分分割出来,并提取相关特征,为临床诊疗和病理学研究提供可靠的依据,辅助医生做出更为准确的诊断。近年来,由于深度学习算法在医学图像分割中的应用,医学图像分割技术取得了显著的进展,本文在此基础上进行了深入研究,致力于提高胸腔X射线图像的诊断精度,主要提出了两种方法:多支柱卷积神经网络和病灶专注网络。由于人体的
高动态范围（High Dynamic Range,HDR）图像具有较强的场景动态范围表现能力,在航空遥感和医疗成像等领域得到了广泛应用。但由于采集、传输和显示等设备的限制导致接收端的HDR图像质量退化,因此建立有效的HDR图像质量评价方法具有重要意义。目前,可采用支持向量机或者k-means等传统机器学习方法对HDR图像进行图像质量评价,但由于传统机器学习技术仅利用浅层架构,无法高度模仿人类视觉感
认知雷达相比于传统雷达有更强的环境自适应能力,其中通过感知环境并实时优化发射的波形是实现自适应的重要途径。通过认知波形优化方法,雷达能够提升目标探测效果。研究基于深度强化学习的认知雷达波形选择方法,对于推进认知雷达的智能化水平具有重要意义。论文设计了基于深度强化学习（DRL）的认知雷达波形选择（优化）方法框架。为解决传统强化学习对环境的感知和表示能力不足的问题,利用DRL来适应雷达任务复杂多变电磁
光场成像技术通过微透镜阵列结构可以实现对真实场景的光场捕获,以其拍摄简单、视点连续、色彩逼真的特点逐渐获得了消费者的青睐。然而,在网络带宽受限的情况下,如何对光场相机拍摄的光场图像进行有效地编码成为亟需解决的难题。光场图像拥有一些不同于传统自然图像的特点。因此,对光场图像的编码压缩需要在传统图像编码标准的基础上提出新的理论和技术。基于此背景,本文针对光场图像编码技术,利用卷积神经网络从亮度分量变分
近年来,利用蛋白质序列信息预测蛋白质相互作用（PPIs）的方法由于无需先验知识,且避免了传统生物实验方法耗时费力的弊端得到了广大的关注。如何对蛋白质序列进行有效地特征提取以及如何构建预测效果良好的机器学习分类器模型是目前基于序列预测蛋白质相互作用研究面临的最大问题。因此,本文从优化序列编码方法,改进分类模型的两个角度提出基于注意力机制的卷积神经网络模型,主要工作概括如下:（1）针对已有的联合三联体