基于轻量化卷积神经网络的表情识别与可视化分析

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:konglingdao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人脸表情识别作为人机交互的重要环节之一,在生活中的应用越来越广泛。卷积神经网络借鉴人类的视觉特性,通过构建多个卷积层实现端对端的特征提取和分类,在表情识别领域取得了较好的成绩。然而通常卷积神经网络模型规模较大,难以应用到移动端设备,且目前对表情识别模型输入与输出因果关系的研究较少,这些问题限制了表情识别模型的推广和改进。因此,本文提出一种基于卷积神经网络的轻量化表情识别模型,并使用可视化技术分析输入图像对表情识别模型决策的影响,具体研究内容如下:首先,针对卷积神经网络规模较大难以应用到移动端设备的问题,提出轻量化卷积神经网络模型light Res Netl和light Res Netm,通过融合主流神经网络Res Net和轻量化结构(深度可分离卷积及倒置残差结构)大幅减少了模型的参数量和计算量,为移动端实时表情识别的实现提供技术基础。其次,在实验室数据集CK+和开放环境数据集FER2013上训练测试了本文模型light Res Netl、light Res Netm和基准模型VGG19、Res Net18,并针对开放环境数据集存在噪声图像和错误标签的问题提出改进数据集FERm,不同数据集上的实验结果均表明本文模型很好地达到了规模和性能的平衡。最后,针对表情识别领域模型的输入与输出的因果关系不明的问题,使用MP方法和Score-CAM方法对本文模型light Res Netl进行可视化分析,验证模型的有效性:通过比较不同人脸表情图像的可视化结果,分析light Res Netl模型关注的人脸区域及区分不同表情的依据;通过对比表情图像变换前后的可视化结果,分析本文模型对不同图像变换的鲁棒性。
其他文献
具有奇异性的偏微分方程,如:Helmholtz方程、Boltzmann方程、Maxwell方程、Schr?dinger方程、Navier-Stokes方程等,广泛存在于非光滑区域的弹性力学、考虑点源的传热学、非光滑控制论、非光滑优化等方向。然而,当问题出现奇性时,解在奇点附近将有剧烈的变化,可能会导致传统的有赖于解的光滑度假设的高阶方法失效。因此,为了取得可以与光滑问题相媲美的精度与效率,有必要对
学位
经典数理统计常利用假设检验的方法推断总体的分布,为权衡推断过程中产生的两类错误概率,内曼-皮尔逊引理利用似然比统计量给出了最优势检验函数。而量子统计中的假设检验基于量子测量的结果判断系统所处的状态,对应于经典情形,量子内曼-皮尔逊引理为二元假设的最优测量提供了构造方法。由于制备和测量量子态需要大量的实验工作,因此研究假设检验问题具有重要的意义。本文基于量子内曼-皮尔逊检验,对第一类成功概率进行分析
学位
由于水下成像环境的复杂,并且受浮沙、浮游生物和光照的影响而动态变化,水下图像往往具有偏色、对比度低、细节信息模糊的特点,原始的水下视频图像很难达到视觉质量的要求。近年来,为了提高水下图像的视觉质量,水下图像增强受到了广泛的关注和深入地研究。随着深度学习在计算机视觉领域的巨大成功,基于深度学习的水下图像增强算法逐渐成为了水下图像领域的研究热点。然而,同时获得大量退化和清晰的配对水下图像是几乎不可能的
学位
随着自动驾驶、机器翻译的快速发展和办公无纸化的潮流到来,文本识别成为了人们生活、学习和工作的得力助手。文本识别可以将纸质文档中的文字提取出来保存为电子文档,也可以将商品包装上的外语提取出来进行翻译,但是在某些工作中,仍然使用传统的人工方法录入和核对文本信息,比如检查出入境验讫章上的日期和城市。此外,文本识别对文字的清晰程度比较敏感,往往需要先对图片进行预处理。因此,本文主要研究基于扩散方程图像增强
学位
结合参数模型的易解释性与非参模型的灵活性,本篇工作改进了部分线性可加空间自回归模型(PLASRM),我们不仅考虑了因变量的空间效应,也考虑了线性影响变量的空间效应。PLASRM是部分线性可加模型与杜宾空间自回归模型的结合,具有强大的灵活性。鉴于B样条具有良好的估计性质且相比较于其他非参函数拟合方法更为简便,本文采用B样条方法对非参函数进行逼近,将模型在一定程度上转化为线性模型。对于模型的内生性问题
学位
21世纪以来,同盟在大国竞争中依然扮演着重要角色。非对称同盟成为国际关系中诸多双边或多边同盟关系的常态,以美国为中心的庞大的非对称同盟体系,成为当下最引人注目的同盟现象。本文在对传统同盟理论、非对称同盟理论及冷战后同盟理论的新进展总结梳理的基础上,总结归纳出冷战后非对称同盟的新特点。菲美同盟是典型的非对称同盟,这些特点在杜特尔特主政时期的菲美同盟中表现得十分突出。依据非主导国对主导国的依附和自主性
学位
随机延迟微分方程在通信、生态、力学等方面都有非常重要的应用。由于这类方程的精确解难以得到,因此,用数值方法来近似方程的精确解在实际生产中得到普遍应用。稳定性是数值分析中的重要内容,研究方程数值解和精确解稳定性的关系在理论和实际中都有重要的意义。本文主要针对随机延迟微分方程,研究其数值解能否保持精确解的阶矩指数稳定性的问题。该问题可通过构造一类随机脉冲延迟微分方程,将随机延迟微分方程的精确解和数值解
学位
图数据依靠其独特的格式,能够将数据间复杂的结构关联可视化。随着大数据时代的到来,图网络数据已经遍布生物学、化学、社会学等多个领域,常见的有物流交通网络、社会交际网络、化学分子网络等。图卷积网络模型是一种有效的半监督学习图模型,是用于在给定图上进行结构等特征提取的方法。为了解决图卷积网络在训练过程中存在的可伸缩性、准确性、计算的复杂性等方面问题,图采样方法抽取有代表性的节点,以便进行小批量节点的训练
学位
间断有限元方法经常用于求解含有一阶导数的偏微分方程,因能够灵活处理复杂的边界问题而得到广泛应用。由于利用间断有限元方法时会在单元边界处产生间断现象,因此在处理高阶方程问题中,通常采用局部间断有限元方法,该方法是间断有限元方法的扩展。本文采用局部间断有限元方法求解四阶扩散方程。扩散方程是偏微分方程一个很重要的分支,其作为一种基本的能量耗散方程,被广泛应用于能源开发、电子科学、流体力学等众多领域。针对
学位
基于分数阶导数的非局部性质,分数阶微分方程在描述一些自然现象时有独特优势。粒子以与经典布朗运动模型不一致的速率扩散的现象称为反常扩散现象,在物理建模的过程中,通常使用空间分数阶方程来模拟这种反常扩散现象。作为空间分数阶微分方程之一的空间分数阶非线性薛定谔(SF-NLS)方程,已经被发现在孤立子动力学、水波动力学等研究领域发挥着重要作用,可以通过研究方程的解来了解系统的状态和性质。然而,获得此类方程
学位