【摘 要】
:
微表情是人们接受到刺激信息后自发产生并主动抑制的表情。微表情可以客观地反应人们的真实情绪状态,因此微表情识别在国防安全、服刑人员改造和心理治疗等诸多领域有着很大的应用价值。由于微表情的运动微弱和持续时间短的特点,微表情的有效特征提取比较困难。随着深度学习的发展,基于深度学习的微表情识别模型拥有比传统微表情识别算法更强的识别能力,但也遇到了新的问题与挑战。由于微表情的运动特性与时间特性,模型提取的微
论文部分内容阅读
微表情是人们接受到刺激信息后自发产生并主动抑制的表情。微表情可以客观地反应人们的真实情绪状态,因此微表情识别在国防安全、服刑人员改造和心理治疗等诸多领域有着很大的应用价值。由于微表情的运动微弱和持续时间短的特点,微表情的有效特征提取比较困难。随着深度学习的发展,基于深度学习的微表情识别模型拥有比传统微表情识别算法更强的识别能力,但也遇到了新的问题与挑战。由于微表情的运动特性与时间特性,模型提取的微表情特征中包含着大量的冗余信息,致使模型不够鲁棒;由于微表情数据的采集和标注工作困难且工作量巨大,可用于微表情研究的数据库样本稀少且类别不平衡,这将导致模型易于过拟合,从而降低模型的识别能力。针对以上问题,本文开展了基于深度学习时空分析的微表情识别算法研究,主要贡献如下:第一,提出了面部肌肉运动特征与身份特征分离的微表情识别算法,构造了双分支神经网络,其中一支为微表情判别分支网络,另一支为身份判别分支网络。在微表情判别分支网络上添加了多路注意力操作模块,构造了散度损失函数,帮助该分支网络关注不同的面部运动区域从而提取出更加全面的面部肌肉运动特征;在身份判别分支网络上添加了全局注意力模块,帮助该分支网络关注轮廓等重要的身份判别信息。将微表情判别分支网络提取出的微表情时空运动特征与身份判别分支网络提取的身份特征同时送入互信息神经估计器,产生互信息损失,使微表情面部肌肉运动特征同身份特征分离。该算法设计了多个训练阶段,使用了融合交叉熵损失函数、散度损失函数和互信息损失函数的联合损失函数训练微表情判别分支模型,使该分支模型提取出更加纯净、更加全面且更有判别力的微表情时空运动特征。该算法在SDU数据库、MMEW数据库、SAMM数据库以及CASME Ⅱ数据库上进行了大量的实验,获得了比较有竞争力的识别率,验证了各个分支、各个模块以及各个损失函数的有效性。第二,提出了联合对比学习与跨模态五元组损失的微表情识别算法,构造了一种动作单元(Action Unit,AU)掩膜生成网络,针对每个样本序列生成对应的AU掩膜。将AU掩膜与各个样本序列相乘以实现对样本序列的初步时空注意力处理,减少了样本序列的冗余信息。根据心理学家普拉特切克对情绪内在联系的解释,确定了各类微表情的难例样本类别,为跨模态五元组损失函数的提出奠定了基础。将微表情样本作为锚样本,在其他微表情样本中选取与锚样本类别相同的样本为微表情正样本,选取锚样本的难例类别的样本为微表情负样本,在宏表情样本中选取与锚样本类别相同的样本为宏表情正样本,选取锚样本的难例类别的样本为宏表情负样本。将这五种样本组合起来构造跨模态五元组,并构造跨模态五元组损失函数,扩大了样本数量,提高了网络收敛的速度并提高了模型的特征表示能力。将微表情样本的RGB模式和光流模式作为两种感知视角,分别以RGB感知视角和光流感知视角作为锚视角,构造正负样本对并进行对比学习,产生对比损失,使模型提取出RGB感知视角与光流感知视角的通用时空运动特征。将RGB特征与光流特征融合后送入全连接层进行分类。该算法使用二分类的交叉熵损失函数训练AU掩膜生成网络,使用融合多分类交叉熵损失函数、跨模态五元组损失函数和对比损失函数的联合损失函数训练特征提取网络。该算法将CK+数据库作为参与训练的宏表情数据库,在SDU数据库、MMEW数据库、SAMM数据库以及CASME Ⅱ数据库上进行了大量的实验,获得了比较有竞争力的识别效果,验证了各个损失函数和模块的有效性。
其他文献
当前,存在大量未查获毒品的毒品犯罪案件。最高人民法院指导意见规定,“未查获毒品,但其他证据确实、充分的,可以认定犯罪事实”,但指导意见的规定过于原则和模糊,司法人员如何判断证据“确实、充分”仍是一个现实问题。有观点主张,毒品是毒品犯罪认定的关键和必要证据,如果没有查获毒品,毒品犯罪难以认定甚至不能认定。所以,司法机关面临着毒品不在案时“毒品”认定的难题,不仅给毒品问题的治理带来困难,也对毒品案件的
背景和目的:目前,体外循环心脏直视手术中,麻醉医生往往根据肝素初始剂量按固定比例给予鱼精蛋白,而具体中和比例在各医疗中心又有较大差别,临床上从0.6:1到1.3:1均有使用。这种做法可能导致肝素中和不充分或鱼精蛋白过量。中和不足将导致肝素残留,增加出血风险;过量的鱼精蛋白可能导致血小板功能受损和出血增加。激活全血凝固时间(Activated Clotting Time,ACT)是体外循环中主流的凝
最高人民法院在2015年出台的《关于深化人民法院改革的意见——人民法院第四个五年改革纲要(2014-2018)》(以下简称《四五改革纲要》)中明确了针对裁判文书进行繁简分流的必要性。市场经济高速发展所产生的新的社会问题和司法改革的深入推进、立案登记制和法官员额制变革所产生的“案多人少”的问题,对刑事裁判文书的说理提出了更高水平的要求。随着司法公开、裁判文书上网和依法治国理念的日益深入,群众对裁判文
辩护权作为被追诉人的一项重要权利,它在保障司法公平公正,保障被追诉人的人权等方面都有着重大意义。辩护权可以由被追诉人自己行使,也可以委托他人行使,这两种辩护权的行使方式并不冲突,甚至可以并存。在一般的刑事案件中,被追诉人可以既不委托他人代为辩护又不自行辩护,也即被追诉人对于是否行使辩护权有一定的自由。但是,我国法律明确规定了六类必须“强制”辩护的情况,也即在这六种情况下,被追诉人必须要授权他人代为
资本多数决是现代公司普遍采取的核心表决机制,该项机制有利于资本民主并提高公司决策效率。在有限责任公司中,当多数股东滥用资本多数决作出公司决议,使少数股东无法有效行使股东参与经营决策的权利,继而导致多数股东攫取公司利益、多方面侵犯少数股东在有限责任公司的各项权利时,就此产生了股东压制的困境。我国《公司法》设置了一系列中小股东权益保护措施,其中司法解散制度是解决股东压制防线的最后一道救济途径,因此司法
随着社会的不断发展,汽车几乎已经成为每个家庭的必需品,如此多的汽车拥有量不仅会使我国能源需求加剧,还会产生雾霾等一系列生态问题。2021年国家提出了碳达峰碳中和的目标,大力发展清洁能源、实现绿色发展已经为我国能源产业所追求的方向。电动汽车(Electric Vehicle,EV)由于其消耗能源少,绿色环保低碳等优势,已经为汽车行业重点研究的方向。纯电动汽车相较于传统汽车来说,其续航能力差一直是其亟
党的十九大提出了“深化税收制度改革”的论断,纳税服务作为税务机关的公共服务,是构建征纳双方沟通互动的桥梁,因此服务水平的不断提升、服务模式的更加科学,是我国现代税收征管体系建设的重要推动力。此外,纳税服务的创新发展对激发市场整体活力的重要性不言而喻,在2021年由中办、国办印发的《关于进一步深化税收征管改革的意见》也得到了充分肯定。从经济发展角度,纳税服务模式改革有助于社会资源的优化配置和社会运行
牦牛的体尺和体重参数是监测牦牛生长和健康的重要指标,对牦牛的育肥、繁殖以及种牛的选取有重要的参考价值。在我国藏区,牦牛的体尺参数通常是由牧民使用传统的测量工具进行手工接触式测量获得,但手工测量方法易对牦牛产生刺激,带有一定危险性,并且存在工作量大,效率低的问题。针对上述背景和问题,本文设计并实现了一种基于机器视觉的非接触式牦牛体尺和体重测量系统,当牦牛走过测量装置时,自动检测牦牛的位置并进行体重和
背景:前列腺癌是男性中第二常见的癌症和第五大癌症死亡原因。2020年全球有近140万新发病例和超37万死亡病例。随着社会经济的发展、预期寿命的延长和逐渐西化的生活方式,中国的前列腺癌发病率大幅增加,且有年龄前移的表现。因此,迫切需要进一步了解前列腺癌的基因差异表达情况,对前列腺癌的致癌机制进行深入研究。传统的实验方法实验周期较长,成本较高,很难满足当前的研究需求。单细胞RNA测序允许在单细胞分辨率
目的探讨早期胃癌非治愈性内镜下黏膜剥离术(ESD)对后续追加腹腔镜辅助胃癌根治术(D1+淋巴结清扫)短期临床疗效的影响。方法采用倾向性评分匹配和回顾性研究方法。选取郑州大学第一附属医院胃肠外科2018年6月至2021年10月行腹腔镜辅助胃癌根治术(D1+淋巴结清扫)的早期胃癌患者286例;根据术前是否行ESD治疗,将其分为直接手术组和追加手术组。直接手术组255例,追加手术组31例。利用1:2倾向