基于胶囊网络的微表情识别方法研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:jiangyingzhou
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
情绪是人类生活中不可分割的一部分。因为微表情是不受人类自主控制的,其对人类情感分析具有重大的意义,十分具有研究价值。微表情识别的含义为根据给定的微表情样本判断其情绪类别。目前微表情识别领域的现有方法仍存在一些问题:(1)现有方法对微表情帧的面部图像直接进行研究,对人脸的各部分没有区分度,而微表情只出现在面部的局部位置,对整个面部运动进行分析会与此特性冲突。(2)微表情数据集制作难度大,现有数据集体量较小,深度学习方法得到的模型泛化能力差。(3)各微表情数据集的样本分布存在较大差异,测试集和训练集有不同的分布,实际识别效果差。本文主要研究内容如下:针对问题一,本文设计了基于光流法的人脸分区方法,通过光流法追踪面部运动信息,发现面部运动最活跃的几个区域,之后通过分区的整体相似度确定合适的分区尺度,最终提取出微表情最可能发生的几个人脸关键区域,集中在眉毛、嘴唇和鼻尖附近,并将其作为后续研究对象。针对问题二,本文讨论了胶囊网络与传统卷积神经网络相比在小数据集上的优越性,使用胶囊网络代替传统卷积神经网络构建模型,提升模型的泛化能力。本文基于胶囊网络构建了微表情的多个识别模型,与现有的深度学习方法对比。本文的模型在SMIC、SAMM和CASMEII的混合数据集上拥有较好的实验结果,非加权平均召回率(Unweighted Average Recall,UAR)和非加权的F1分数(Unweighted F1-score,UF1)最高分别为0.7678和0.7468。实验结果表明本文提出的方法效果好于其他深度学习方法,胶囊网络提升了模型的泛化能力。针对问题三,本文针对跨域跨数据库的微表情识别,提出了基于对抗的领域自适应方法、基于特征空间适配的领域自适应方法和基于最大分类器差异的领域自适应方法,应用胶囊网络构建了三种领域自适应的微表情识别模型。在此基础上,分别进行单源域和多源域上的实验。在单源域实验和多源域实验中,本文的设计的模型都将识别的准确率提升了约10%。在留一法交叉验证实验中,本文提出的方法取得的UAR和UF1分别为0.7381和0.7220,领先其他的深度学习方法。这表明本文的方法能够提升跨域跨数据库的微表情识别准确率。
其他文献
软件测试作为保证功能交付,提前发现软件项目问题的主要手段日益受到学术界和产业界的重视,自动化软件测试是其中一个热门领域。自动化软件测试技术通过程序分析等方式,不断生成测试用例执行程序,目的主要是覆盖尽可能多的程序路径以及发现能够导致程序崩溃的漏洞。基于覆盖率引导的模糊测试与动态符号执行作为两大主流的自动化软件测试技术已被广泛研究并应用到学术界与工业界中,这两种技术有明显的特点:模糊测试通过对测试用
学位
随着移动设备的普及和网络资费的提速降价,智能手机迅速走进每家每户,并扮演着极其重要的角色,其中安卓手机在市场中占据了相当一部分份额。智能手机普及以后,各式各样的手机应用也如雨后春笋般涌现出来,现如今,人们的衣、食、住、行,绝大多数事务都可以通过手机上的一个个应用程序解决。然而,这些手机应用在提供便利的同时,也极有可能造成用户隐私数据的泄露。例如一些攻击者可能会发布恶意软件窃取用户的隐私数据,如手机
学位
随着信息技术和人工智能的迅速发展,智能化微震定位和成像技术被广泛应用于火山、煤矿、油田等众多地区。近年来,随着我国煤矿开采深度的增加和开采强度的提高,大能量矿震事件频发,造成大量人力物力的损失。因此,精准有效的微震定位和成像方法是煤矿监测领域研究的热点问题。微震定位和成像技术依赖于微震发生时,微震源发出能量波信号的监测数据。受地下介质速度结构异构性影响,能量波信号大多不沿直线传播。同时,受背景噪声
学位
社会经济的发展极大地改善了人民的生活,人民群众对物质文化生活的美好愿景不断增强。同时,人类已步入大数据时代,如何从海量数据中挑选出用户感兴趣的信息并将其推荐给用户,已成为商家和用户共同关注的焦点。因此,个性化推荐系统应运而生。用户评论蕴含了丰富的情感信息,传统推荐方法对此考虑较少。一些研究虽引入文本处理方法,但也仅是对用户评论这种单一文本进行处理,并且无法根据用户偏好对评论进行细粒度的情感分类,这
学位
随着技术的不断发展,科技在不断改变人们的生活方式,尤其是在医疗领域,人工智能技术的加入,提高了医生工作效率的同时,还可以时刻监测患者的健康信息,智慧医疗逐渐走进我们生活的方方面面。在这些技术的背后,离不开相关数据的支持,而文本数据是医学领域最常见的表现形式,对医疗文本的知识抽取以及数据的规范化是技术发展的基础,同时对推动医疗健康的发展具有重要意义。本课题主要研究面向医疗文本的嵌套实体抽取和实体标准
学位
随着计算机图形学的飞速发展,由于具有更贴近真实的视觉效果,三维几何模型在各个领域获得了广泛的应用。因此,作为计算机图形学的新兴分支学科,数字几何处理也逐步进入人们的视野。而曲面参数化技术作为数字几何处理领域的热点与难点,也逐渐深入社会生产生活的各个方面。由于三角网格更能展现三维模型的细节,所以本文以三角网格数据作为基础,针对现有算法存在的非线性,算法复杂度较高等问题,分别对0亏格的封闭网格以及带孔
学位
近年来,随着互联网的快速发展,信息的爆炸性增长使人们为做出合理的选择需要投入更多的时间和精力,用户如何能够快速高效地在海量数据中找到所需要的信息成为当今时代亟待解决的一大难题。个性化推荐能够通过分析用户的历史数据获取用户偏好从而进行信息的推送。因此,个性化推荐的广泛应用很大程度上缓解了信息过载带来的问题。传统的推荐算法仅对用户与项目之间的静态关系进行建模,忽略了用户在现实生活中兴趣会随着时间发生变
学位
学位
膝关节炎这类病症严重影响到患者的生活,为患者家庭带来沉重的经济负担。这类疾病存在以下特性:中老年群体发病率高,影响人群广,属于慢性可致残性疾病。由于该类疾病临床表现相似,医生单靠临床表现难以鉴别诊断,一定程度上依赖影像学检查,超声检测就是用于诊断膝关节炎病症种类的主要影像方法,其依据是膝关节超声医学图像。本文基于炎性关节病超声图像的人工智能分析,实现炎性膝关节病的超声图像分类,为临床诊疗提供一定依
学位
随着信息时代经济的快速发展,企业的经营活动、金融交易等数据规模呈几何倍增长,在数据高效存储以及安全防护等方面的需求激增。区块链技术由于其去中心化、防篡改等特征,能够很好的解决数据在存储和安全等方面存在的问题,因此,被广泛应用于企业交易活动、产品溯源等领域。如何使区块链技术能够满足不同类型企业的个性化需求,对促进信息产业数字化、推动企业安全技术应用高速发展等方面具有重要的意义。由于区块链技术在企业个
学位