基于注意力机制的多尺度与多通道的人脸表情识别

来源 :南昌大学 | 被引量 : 0次 | 上传用户:wmstudio
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
情感计算是人工智能领域一个热门的研究方向,随着深度学习技术的发展,在人们的日常生活中出现了许多基于情感计算的应用。面部表情识别(Facial Expression Recognition,FER)作为情感计算中一个重要的分支,在人机交互、教育医疗等领域有着重要的应用价值。面部表情识别容易受到遮挡、人物姿态、光照变化等因素的影响,使得表情识别正确率降低。本文通过融合多尺度表情特征、结合多通道的方法,同时在模型中添加注意力机制,从而提高表情识别正确率。本文主要研究内容如下:(1)针对单一尺度特征不能描述丰富的人脸表情信息的问题,本文提出一种多尺度卷积神经网络,通过设计包含不同大小卷积核的卷积模块,完成多尺度表情特征的提取。同时,由于人脸不同部位对表情识别的影响不同,因此将划分的人脸不同部位(左眼、右眼、鼻子、嘴巴)图像和完整人脸图像输入到多尺度卷积神经网络中,构建多尺度与多通道的表情识别方法,且各通道之间不共享参数。通过该方法,可以提取融合多尺度的全局表情特征和局部表情特征。根据实验结果表明,该方法在CK+、MMI和RAF_DB表情数据集上与实验设置的baseline(VGGNet)相比,识别率分别提高了6.31%、10.31%和7.68%。(2)卷积神经网络是通过对输入图像均匀地做卷积运算来提取图像特征,然而表情特征并非均匀的分布在人脸图像上。针对这一问题,本文设计了一种多尺度注意力模块,将多尺度注意力模块引入到多通道卷积神经网络中,构建基于注意力机制的多尺度与多通道的表情识别方法。该方法可以从空间域和通道域两方面对表情特征图赋予权重,自适应地学习对表情分类更为重要的特征。通过实验表明,该方法在CK+、MMI和RAF_DB表情数据集上与(1)中方法相比,识别率得到了进一步的提升,分别提高了3.9%、4%和4%。(3)为了验证和分析本文提出的表情识别方法的有效性,在CK+、MMI和RAF_DB表情数据集上进行了多组对比实验,实验结果进一步说明了本文方法可以有效地提升表情识别正确率。
其他文献
风能是一种低碳环保、经济效益高的可再生能源,因此,风能的高效利用成为世界各国的关注焦点。通过提高风速预测的准确性,可提升风电机组的控制性能和发电量,进而实现风能的高效利用,对风能的可持续发展、能源规划和经济发展具有重要的意义。针对传统机器学习方法难以有效拟合海面风速突变的问题,本文从四个维度(气象要素、季节、时序和非线形)研究海面风速预测模型,即将数值预报方法、时间序列分解方法、序列任务预测的LS
学位
近年来,非机动车的行车安全引起了国家的极大重视,非机动车违规行为的存在是导致相关安全事故频发的主要原因,针对该问题,目前交管部门主要采取交警现场执法这种监管方式,该方式需要投入巨大的人力物力且效率十分低下。随着信息技术的发展,计算机视觉技术在交通领域的应用屡见不鲜,但是大多研究对象往往是机动车。因此,本文研究并设计了一套针对非机动车的违规行为识别系统,主要对未佩戴头盔、逆行、占道行驶等违规行为进行
学位
根据GPC(Global Product Classification)分类标准,商品类别有几千种,实现快速准确的商品自动分类可以有效减轻工作人员负担。商品分类可通过商品图片、商品名称以及商品描述信息进行分类,本文通过商品名称对商品进行分类,由于商品名称属于文本且长度较短,因此本文着重研究对短文本分类方法改进并应用于商品分类任务。本文选择BERT模型进行微调并将BERT和其他模型结合应用于商品分类
学位
皮肤恶性黑色素肿瘤是一种恶性程度比较高的肿瘤,虽然其发病概率较低,但其在早期较难发现、转移快,因此死亡率较高。对于恶性黑色素肿瘤,早发现并且早治疗是治愈的关键。基于机器学习的黑色素肿瘤的分类问题已有不少研究,这些研究一般先是人工提取特征,然后对其进行分类,这样的方法较为繁琐,且提取不到较深层次的特征,导致黑色素肿瘤分类的效果一般。本论文使用深度神经网络的方法,对黑色素肿瘤图像进行分类,并使用扩充数
学位
在互联网快速发展,数据爆炸的时代,文本已经成为人们最为常见的情绪表达方式。对文本进行情感分析不仅可以给消费者提供参考依据,还能提升商家的整体服务机制。因此,对文本进行情感分析有着重要的研究意义。本文采用情感词典与深度学习相结合的方法,对在某点评网站爬取到的餐饮评论数据进行情感分析。本文的主要研究内容及取得的实验结果如下:(1)本文在对数据进行获取和预处理后,对网评文本的基本情感词典进行了构建。对于
学位
随着信息技术和互联网的高速发展,物联网越来越广泛地应用于各个领域中,在便利生活的同时,物联网环境面临的安全隐患也受到了更多重视。当前对物联网节点身份认证、数据传输、访问及存储的安全性要求也逐步提高,如何解决物联网环境中的信息安全问题,已经成为一个非常重要的研究课题。本文主要研究物联网设备身份认证和数据传输过程中的信息安全问题,提出面向物联网的椭圆曲线数字签名算法和基于国密算法的数字信封混合加解密算
学位
糖尿病视网膜病变是糖尿病的常见并发症之一,对患者的眼部损害十分严重。因此,国内外研究者开始通过近些年兴起的深度学习方法,通过眼底图像对患者进行诊断。其中,眼底视网膜血管分割能准确判断血管和非血管像素,可以辅助医生进行准确诊断并及早治疗;而糖尿病视网膜病变分类能对患者的病情自动分级,可有效缓解专业医生数量不足,效率不高的问题。因此,对上述两种方法进行研究意义重大。针对当前对眼底图像进行分割和分类存在
学位
目的 研究半夏泻心汤加减治疗寒热错杂证慢性萎缩性胃炎的临床效果。方法 84例寒热错杂证慢性萎缩性胃炎患者为研究对象,随机分为观察组和对照组,各42例。对照组采用常规西医疗法治疗,观察组在对照组常规治疗的基础上采用半夏泻心汤加减治疗。对比两组临床疗效及用药不良反应。结果 观察组治疗总有效率95.24%明显高于对照组的80.95%,差异有统计学意义(P<0.05)。两组用药不良反应发生率比较,差异无统
期刊
随着互联网的发展现如今已经进入大数据时代,在大数据的背景下图像分类已然成为模式识别以及计算机视觉领域的重点研究之一。传统的图像分类多是基于大量标签图像进行的有监督学习分类方法,而现实应用场景中数据中多是只含有少量标签。生成对抗网络作为一个生成模型可以和半监督学习相结合对含有少量标签大量无标签的图像集进行分类。但是传统的半监督生成对抗网络进行图像分类时会出现精度不高的现象,原因主要有:一方面由于生成
学位
水文模拟作为认识水循环的重要方式,经过半个多世纪的发展,已经从最初的经验性黑箱模型阶段进入到概念性集总式模型阶段,现在正处于分布式水文模拟阶段。分布式水文模拟计算量大,需要的数据参数众多,越来越多研究者提出分布式水文模拟并行计算方法,结合遥感数据来获取水文模拟的水文参数和植被参数,来实现对大规模流域进行水文模拟。本文基于Dis VOM水文模型设计并行计算系统,利用时空融合与光谱融合技术对遥感图像进
学位