基于面部结构关联特征的人脸表情识别方法研究

来源 :重庆大学 | 被引量 : 0次 | 上传用户:cliff800
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
面部表情蕴含着丰富的情感和行为信息,可以直观地反映出人的情绪和心理活动。表情识别技术在安全驾驶、临床医学、智慧教学等领域有着广泛的应用,已成为计算机视觉研究中的热点。传统基于欧式空间的表情特征提取方法将图像作为标准的网格类型数据处理,虽然能有效地提取表情的时间和空间特征,但忽略了面部图像中的丰富的结构和关联特征,从而导致其特征表达能力有限,不利于于进一步提升对人脸表情的识别效果。论文结合与重庆某汽车厂商合作的一体化智能数字座舱项目需求,研究基于面部结构关联特征的人脸表情识别方法及其在嵌入式GPU平台实现,主要研究工作及成果如下:(1)针对基于欧式空间的表情特征提取方法不能充分利用人脸表情图像的结构和关联特征,识别准确率较低的问题,提出了一种基于像素矩阵图卷积的轻量级人脸表情识别方法。该方法首先将选定的图像像素和像素间欧式距离建模将静态图像数据转化为图结构数据。随后,采用多层图卷积神经网络对输入的图结构数据进行特征提取,获取表情图像像素间的结构和关联特征。最后,使用Softmax分类器对提取的特征进行分类。通过在多个数据集上进行实验和对比分析,结果表明基于像素矩阵图卷积的人脸表情识别方法可以在较少的网络参数量下获得高的识别精度,有利于部署于嵌入式边缘设备。(2)针对仅在单帧图像使用结构和关联特征进行表情识别,无法获取表情的动态特征,存在表情信息缺失的问题。论文基于人脸几何拓扑结构,将外观特征提取算子、图卷积神经网络和长短时记忆网络相结合,提出了一种基于局部特征图卷积的序列表情识别方法。该方法能同时提取和融合表情的外观特征、不同面部区域间的结构关联特征和表情序列间的时间特征,进而获得更具判别性和泛化性的情感特征。实验结果表明,论文提出的基于局部特征图卷积的表情识别方法在CK+和Oulu-CASIA数据集上识别准确率分别达到98.21%和77.75%,进一步提升了人脸表情识别性能。(3)论文结合一体化智能数字座舱项目需求,基于NVIDIA Jetson tx2嵌入式平台设计和实现了人脸表情识别系统。经测试,所设计的系统在驾驶舱环境下对表情的识别准确率率达到90%,平均识别时间为54 ms,较好地满足了应用需求。
其他文献
为遏制全球变暖,缓解能源危机,实现“碳达峰、碳中和”的战略目标是我国未来重要的发展方向。实现“双碳”战略的一个重要途径就是汽车电动化,为了提升用户体验同时充分利用电动汽车的储能特性,有必要设计具有双向功率传输的车载充电机。一般两级式车载充电机设计的关键在于隔离双向DC-DC变换器(Isolated Bi-directional DC-DC Converter,IBDC)的设计,在众多的IBDC中,
学位
电流与电力系统运行状态密切相关,其传感技术是保证电力系统安全稳定运行和推动智能电网发展的关键技术之一。目前,光学电流传感器因具有体积小重量轻、绝缘性能优良、抗电磁干扰能力强等优势,得到了大量研究和广泛应用。其中,基于磁致伸缩效应的无源光栅电流传感器相较磁光效应型和干涉型传感器而言不会受到双折射效应或外界振动等因素的影响,具备宽频、宽温、高性能测量的潜力。但基于已有研究发现,此种传感器在频率响应、温
学位
在“十四五”规划的推动下,为发挥我国风能资源丰富的优势,风力发电在新能源发电领域逐渐占据重要位置。变流器作为风力发电系统中最关键且故障率最高的装备,其中功率器件IGBT是最脆弱、最容易失效的部件。准确的变流器可靠性评估结果对于整个风电机组的稳定运行、提高经济效益具有重要意义。受风速随机性的影响,机侧变流器输出参数频率(0~20Hz)与IGBT模块热时间常数(100ms)不匹配,而传统寿命模型难以反
学位
触觉传感器是实现人机交互的重要接口元件,逐渐被应用于消费类电子产品、机器人和医疗器械等领域。现实世界中触觉传感器在机器人中的应用仍然具有挑战性,速度缓慢、分辨率低、体积大、成本高等因素制约着其在机器人领域中的应用。本论文针对以上问题,提出了一种基于MEMS(Micro-electro-mechanical system,MEMS)和CMOS(Complementary metal oxide se
学位
现代生活中,基于深度神经网络的深度学习技术已经在多个应用领域取得了突破性的成功。随着物联网的发展,在嵌入式设备上实现这类人工智能应用的需求也在不断增加。然而,经典深度神经网络往往需要大量的计算开销和存储占用,阻碍了其在资源有限的物联网设备上进行部署。为应对该挑战,许多模型压缩技术被研究者们陆续提出。其中,二值量化方法由于极高的存储节省比和高效的卷积计算方式成为了一种简单且高效的压缩方法。但当前二值
学位
结构健康监测(Structural Health Monitoring,SHM)是指利用传感器对工程结构的损伤进行检测和识别,作为物联网技术的重要应用领域之一,SHM已经在环境监测、应急管理等应用中得到广泛关注。对于部署在缺乏地面通信基础设施的特殊地区的SHM传感器,由于没有地面基站提供接入服务,要可靠地实现收发数据将变得十分困难。无人机和卫星由于具有灵活的机动性以及广阔的覆盖范围,被认为是实现此
学位
随着电子技术的发展,视觉传感器被广泛应用于社会各个方面,如军事,安保和车载等领域,它可以让观察者在一定距离之外,不经过接触就能对物体有一定的观测和了解。摄像设备和计算机的联合促进了计算机视觉任务的快速发展,从而更好地解决各种场景下的环境观测问题。其中,在夜间等光线暗淡的环境下拍摄得到的图片像素低,噪声大,阻碍着后续的图像处理,所以低光图像的增强技术是计算机视觉领域不可或缺的一部分。而根据现有的研究
学位
不平衡数据分类指对存在“某类样本数量远远大于另一类样本”现象的数据进行分类,广泛应用于医疗诊断、故障检测、信用贷款等领域。传统机器学习分类方法通常假设样本具有均匀的类分布和相同的误分代价,直接应用于不平衡数据时,分类器会偏向于多数类,导致少数类将被多数类淹没。而现有的不平衡数据分类方法主要侧重于解决数据的类失衡问题,忽略了已被相关研究证实对分类器性能负面影响更严重的类重叠问题。基于上述背景,本文分
学位
随着生物信号检测与处理技术和神经医学等方面学科的飞速发展,对微弱信号高精度处理的需求与日俱增,而增量型Sigma-Delta ADC(Analog-to-Digital Converter,ADC)无需精确的模拟元件匹配就能实现高分辨率,因此得到了广泛的应用,但是增量型Sigma-Delta ADC的精度、面积和功耗在很大程度上取决于数字抽取滤波器的结构。本文针对以上问题,提出了一种面向增量型Si
学位
近年来,随着汽车数量的急剧增加,交通事故发生率也在逐年上升。同时,无线通信技术也在飞速发展,第三代合作伙伴计划(3rd Generation Partnership Project,3GPP)提出基于长期演进的车到万物(Long Term Evolution-Vehicle to Everything,LTE-V2X)技术用于保证交通系统的安全运行。LTE-V2X运行在5.9GHz频段,支持上行链
学位