基于深度胶囊网络的微表情判别特征表示与识别研究

来源 :江西科技师范大学 | 被引量 : 0次 | 上传用户:zhengafei1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
作为人脸图像分析的一个重要分支,微表情识别任务属于计算机视觉(Computer Vision,CV)领域中的一种十分重要的子任务,在国防安全、司法刑侦、临床医学、教学评估等方面都有着广泛的应用。微表情持续时间短(1/25s至1/3s之间),运动强度低,且不易被鉴别。随着互联网技术的不断进步和发展,自动面部微表情识别已经成为一个十分重要的研究方向。目前常见的微表情识别方法主要包括两大类:基于手动特征提取的传统方法(如:LBP)和以神经网络为主的深度学习方法(如:CNN、RNN、LSTM等)。其中传统方法对现有的时域特征提取不足,对噪声数据的鲁棒性较差。以CNN为主的深度学习的方法除了会遭受训练数据样本的不足之外,而且难以抵抗样本空间变化。胶囊网络(Capsule Networks,Caps Nets)通过用向量表示替代标量特征,这种强大的语义信息表达方式能够更好的表达实体对象与其父对象之间的关系,从而弥补CNN在抵抗样本空间变化的不足,并利用路由机制捕捉更充分有效的高级面部特征,提高微表情识别性能。因此,本文基于胶囊网络,提出两种微表情识别方法。主要工作如下:(1)提出了一个基于深度胶囊对抗域适应网络(DCADAN,Deep Capsule Adversarial Domain Adaptation Network)的微表情识别(MER)方法。为了减轻与身份信息相关特征的负面影响,应用光流预处理来编码与面部微表情高度相关的细微的脸部运动信息。然后,开发了一个深度胶囊网络来计算出光流特征上的部分-整体关系。为了解决数据不足的问题和提高网络的泛化能力,提出基于对抗鉴别器模块的域适应技术,同时引入宏观表情数据集丰富可用样本。从宏观表情数据中获得的可用样本,被整合到胶囊网络中,以训练出一个快速的端到端深度网络。最后,一个简单而又高效的注意力模块(ECA)被嵌入到DCADAN中,以自适应地将光流卷积图聚合到主胶囊层。本文使用"留一法交叉验证(LOSO)进行分析,评估了整个网络在微表情基准交叉数据库(3DB)上的性能。未加权的F1分数(UF1)和未加权平均召回率(UAR)被用作评价指标。基于MER的改进后的方法在DCADAN上取得了0.801的UF1分数和0.829的UAR分数,超过了之前的UF1分数为0.788和UAR为0.782方法。综合实验结果表明,将对抗域适应纳入胶囊网络对表示微表情中的鉴别性特征是可行且有效的。所提出的模型优于许多其他的微表情深度学习方法。(2)在验证胶囊网络对微表情特征提取有效的基础上,提出一种基于不同模态的双流胶囊网络(DSCN,Dual-Stream Capsule Network)的微表情识别方法。首先,用光流法计算起始帧与顶点帧之间的光流信息;然后,将同一个帧序列中的RGB图像和计算得到的光流信息图像分别输入到胶囊网络中,得到的这两个胶囊网络分别记作RGB流和光流分支,并获得两个预测值;最后,将光流分支的结果作为最后的结果。通过深度胶囊监督互学习引导模型进行交叉训练,以基于光流信息作为输入的胶囊网络作为主网络,基于RGB图像的输入作为辅助网络,引入分类损失判断网络的识别性能,散度损失用来指导双流之间的交叉训练和互补学习。采用留一法交叉验证,在基于SMIC、CASME II、SAMM的混合数据集(3DB)上评估模型。综合实验结果表明,基于双流胶囊网络的微表情识别性能优于基于单一模态的方法。
其他文献
本学位论文利用cut算子,在偏序集上引入网的(拟)下极限收敛概念,讨论了它们的一些性质,特别地,对任意包含于σ2-拓扑的序相容拓扑τ,我们证明了:(1)一个偏序集P是τ-连续的当且仅当S-收敛关于τ是拓扑的当且仅当P是交τ-连续的且下极限收敛关于τ∨ω(P)是拓扑的;(2)一个偏序集P是τ-拟连续的当且仅当GS-收敛关于τ是拓扑的(3)一个交τ-连续偏序集P是τ-拟连续的当且仅当拟下极限收敛关于τ
学位
贵定县作为贵州省内重要的交通咽喉要道,有“贵阳门户”、“黔中咽喉”的美名。贵定县具有浓厚的历史文化底蕴和灿烂丰富的民间艺术文化,布依山歌——十八调作为贵定县布依族的非物质文化遗产,也是唯一一个传统音乐类非遗项目,是贵定布依山歌的重要名片和音乐代表。它包括十八种不同的曲调,篇幅短小、曲调优美,歌词没有固定的模式,一般由演唱者根据需要选择曲调进行即兴编唱。十八调的创造主体是全体布依族劳动人民,其演唱内
学位
体育中考考试制度发展至今经历多次改革,伴随着社会各界的关注体育中考体系逐步完善,体育中考的实施对促进青少年体质健康和引导青少年积极参加体育锻炼中发挥举足轻重的作用。2020年云南省玉溪市对体育中考考试方案进行改革,基于此背景下如何提出相应的教学方法、发展对策,是云南省初级中学面临的重要课题。本文通过实地考察法、问卷调查法、访谈法、数理统计法等研究方法,研究新方案实施以来对云南省玉溪市体育教师、师生
学位
在复杂网络中,通常使用节点来表示实体,用连边来表示实体之间的关系。网络是对数据进行表示和分析的常用结构。网络分析对于理解复杂系统的内部机制具有重要意义。经过多年研究,学者们发现,社区结构是复杂网络普遍具有的特性之一,即大部分的网络都具有社区结构。社区检测意在从复杂的网络中寻找可能相关的联系,挖掘网络中的社区结构,以帮助分析网络。作为网络分析的重要内容,社区检测吸引了各行业研究人员的关注。但随着网络
学位
InGaN和AlGaN是GaN基LED器件中的关键材料,但目前对InGaN和AlGaN热输运性质的研究还比较少,且多集中于热导率的测量和LED器件的设计,缺乏对材料热导率变化机理的系统探索。本文采用第一性原理计算方法结合声子玻尔兹曼输运方程,围绕GaN、InGaN和AlGaN的热输运问题,从晶体结构、热导率的声子贡献、声子输运性质和电子性质等方面进行了深入研究,本文研究结果揭示了GaN合金材料热导
学位
本学位论文引入了F-分配偏序集的概念,讨论了它的一些性质,并研究了几类代数偏序集之间的关系。首先证明了偏序集p是F-分配的当且仅当由P中所有有限集生成的cut构成的集族也是F-分配的;然后讨论了预代数偏序集和Frink拟代数偏序集之间的关系,证明了偏序集P是预代数的当且仅当P是交预连续和Frink拟代数的;最后讨论了强代数偏序集和广义强代数偏序集之间的关系,证明了偏序集P是强代数的当且仅当P是预代
学位
本学位论文主要利用Nevanlinna值分布理论和Hadamard因子分解定理研究了两类Fermat型微分差分方程解的精确表达式。该论文的主要内容包括:第1章引言介绍了研究的背景和研究意义。第2章预备知识介绍了 Nevanlinna理论和微分、差分领域的相关知识。第3章我们主要研究了 Fermat型微分差分方程ω"(z)~2+[P(z)(d1ω(z+c)+d0ω(z))]~2=Q(z)和 Ferm
学位
跨膜蛋白通常需要在脂质双分子层中形成稳定的寡聚物以激活某些特定的生物功能,例如:部分配体只与跨膜蛋白的二聚物结合以调控特定信号在脂质双分子层中的运输。癌症、糖尿病和囊性纤维化等疾病都与寡聚物模态造成的受体功能障碍直接相关。建立一套基于跨膜蛋白序列的寡聚物模态及其基序预测算法,对理解跨膜蛋白的生物功能及其靶向药物的研发有着重要意义。许多基于模式识别与机器学习理论的寡聚物模态预测模型和基序搜索算法被提
学位
微表情是一种自发的、不易发现的、动作幅度小、持续时间短的人脸表情,广泛应用于司法侦查,医学诊断等领域。传统的机器学习算法识别率低,而将深度学习用于微表情识别任务时,通常选择增加卷积神经网络的宽度、深度以及丰富感受野等策略来提高识别率。但是由于微表情数据集样本规模较小,这些策略对提升微表情识别深度模型的效果有限。近年来,随着基于卷积神经网络研究的不断发展,迁移学习和注意力机制的应用成为提高深度网络泛
学位
镁(Mg)和硅(Si)作为p型和n型氮化镓(Gallium Nitride,GaN)的典型掺杂剂,被广泛用于GaN基光电器件中。在光电器件的实际应用中,器件的性能和寿命主要取决于有源区的散热效率。实验上发现,Mg和Si掺杂后,GaN热导率急剧下降,然而其中的物理机理并不清楚。深入探究Mg和Si掺杂GaN的热输运性质,理解GaN掺杂导致热导率下降的物理机制,对提高器件的性能,延长器件的寿命具有非常重
学位