【摘 要】
：
情绪识别是计算机视觉领域近几年来研究较多的课题。目前的研究成果主要集中在仅基于面部表情的情绪识别或仅基于身体动作的情绪识别方面,但这些单模态的情绪识别算法泛化能力并不强,并且准确率也存在提高的空间。为了提高情绪识别的准确率,本文对基于多模态特征融合的视频中人物情绪识别算法进行研究,重点研究如何综合运用面部表情特征和身体动作特征来进行视频中人物情绪的识别。首先,以提高情绪识别的准确率为目标,设计了一
论文部分内容阅读
情绪识别是计算机视觉领域近几年来研究较多的课题。目前的研究成果主要集中在仅基于面部表情的情绪识别或仅基于身体动作的情绪识别方面,但这些单模态的情绪识别算法泛化能力并不强,并且准确率也存在提高的空间。为了提高情绪识别的准确率,本文对基于多模态特征融合的视频中人物情绪识别算法进行研究,重点研究如何综合运用面部表情特征和身体动作特征来进行视频中人物情绪的识别。首先,以提高情绪识别的准确率为目标,设计了一种融合面部表情和身体动作特征的人物情绪识别算法FBER。该算法使用C3D网络提取视频中面部表情与身体动作的时空特征;在稀疏编码树的框架下,使用MOD算法对所提取的特征向量进行字典学习;利用SVM分类器进行情绪分类识别。基于FABO数据集进行的人物情绪识别实验结果表明,无论与仅针对面部表情或仅针对身体动作的单模态情绪识别算法相比,还是与其它的融合面部表情和身体动作的情绪识别算法相比,FBER算法都具有更高的准确率。接着,考虑到面部表情特征和身体动作特征的提取对情绪识别效果有着直接的影响,以更有效地提取视频中人物的面部表情和身体动作特征为目标,对C3D网络进行改进,设计了基于注意力机制的3D卷积网络AM-C3D。AM-C3D将CBAM注意力机制与3D卷积进行集成,形成3DCBAM注意力机制,然后将3DCBAM注意力机制与C3D网络结合,以此提高对视频中的通道特征和空间特征的利用率,增强感兴趣的特定目标区域,同时弱化不相关的背景区域;在真实数据集FABO上的实验结果表明AM-C3D网络比C3D网络具有更好的识别效果。最后,将AM-C3D应用到FBER算法中,形成基于AM-C3D的FBER算法AM-FBER,进一步提高视频中人物情绪识别的准确率。为了检验AM-FBER算法的有效性和实用性,开发了一个较为简单的观影情绪识别原型系统。该系统使用AM-FBER算法对人们观影时的视频进行情绪识别。应用结果表明,AM-FBER算法能够有效地应用到观影情绪识别原型系统中,较为准确地识别出观影时的情绪。
其他文献
人的脸部表情是内心情绪的表达,是人与人之间交流情感的重要手段。随着人工智能的发展,人脸表情识别作为计算机视觉中的重要课题受到广泛研究,在人机交互,在线学习,医疗诊断和智能驾驶等领域有重要的应用。因此,如何获得人脸表情识别率更高、识别更快参数量更少的模型对于人脸表情识别任务至关重要。本文基于不同的特征提取方式,主要提出了四种改进的表情识别算法。首先,早期手工提取人脸表情特征的算法对于小型数据集有一定
随着智能设备和新兴智能应用的普及,移动数据流量呈爆炸式增长。为了满足更高的数据速率和大规模无线连接的需求,引入了异构云无线接入网络（Heterogeneous Cloud Radio Access Network,HCRAN）,但大量的低功率节点以及节点间的干扰导致能源消耗的急剧增加。因此,能效优化成为实现网络可持续发展的关键问题。基于上述背景,本文考虑在HCRAN中使用可再生能源与电网能源混合供
微电子器件自出现以来就受到了人们的广泛关注,研究中发现,微电子器件在使用时会根据所选参数的不同而呈现出单周期、多周期或混沌等丰富的非线性动力学现象。本文基于极限学习机（ELM,Extreme Learning Machine）算法针对两种典型的微电子器件——Duffing振子和约瑟夫森结进行了非线性动力学的相关研究。具体工作如下:第一,我们对Duffing振子动力学状态的识别方法进行了研究。Duf
随着信息技术及互联网环境的不断发展,随之而来的信息过载问题亟待解决,常见的数据稀疏以及冷启动问题都在一定程度上影响了推荐质量。现有的大部分推荐算法更偏向于物品信息的考虑,而往往忽略了用户信息,同时更加侧重于挖掘用户与物品之间的静态相关性,但忽略了随着时间的推进而导致的用户兴趣的衰减以及偏好的动态变化,从而无法实现理想的效果。为了解决以上问题,本文提出了基于双端知识图的用户偏好推荐模型,主要研究内容
近年来,针对综合能源系统的信息物理协同攻击事件时有发生,严重影响了系统的安全经济运行,因此考虑信息物理协同攻击的攻防策略对综合能源系统优化调度的影响具有重要意义。本文针对气-电混联综合能源系统,研究了攻击者视角下计及负荷重分配攻击与破坏供能网络的物理攻击协同的最优攻击策略,以及防御者视角下计及系统备用容量和替代负荷的最优防御策略。主要内容如下:（1）研究不计攻击的气-电混联系统优化调度策略本文采用
为了降低生产成本、监测过程状态、提高生产效率、优化产品质量,工业过程中关键质量变量的实时测量与预测十分重要。对于复杂的工业生产环境,以及硬件传感器无法或难以测量关键质量变量的问题,软测量方法通过构造以过程变量为输入,质量变量为输出的估计模型,间接估计预测关键质量变量。由于其易于开发、配置灵活、响应速度快等优点,在学术上和工业上得到了迅速地发展和有效的实践。本文的主要研究内容如下:（1）针对工业过程
针对大尺度结构进行损伤的监测与安全评估,及时地确定安全隐患,组建一套面向于大型结构的损伤诊断系统尤为重要。大尺度结构即为大型工程结构,由于使用范围广泛,材料面积大,在大型工程结构上进行损伤监测不仅使监测设备繁琐,而且信号的处理难度更加困难。本文研究主要是针对大型复合材料板损伤的情况下,从Lamb损伤监测机理方面入手,设计最简三角稀疏阵列并且提取Lamb波在典型损伤上的多特征参数,利用机器学习建立损
近年来,由于人工智能和互联网技术的迅速发展,单个智能体已经不能解决大规模、复杂和不确定信息的现实问题。因此,多智能体分布式协同控制成为控制领域热点关注的课题。由于通信时滞和量化噪声等复杂通信因素的影响,多智能体系统的协同控制设计的难度极具增大。因此,复杂通信环境下的多智能体系统的分布式协同控制引起了广泛关注。本文研究了具有连边乘性不确定的连续和离散多智能体系统鲁棒一致性和具有通信时滞不确定的二阶严
微流控光学透镜具有可灵活调节焦距、能在一微型芯片中同时实现微流控分析和光学检测、简化透镜尺寸等特点,所以目前它在光学相关领域得到了广泛的关注和研究。其中,具有双界面的微流控光学透镜,由于其双界面的曲率均可按照需求进行独立调节,并伴随有大的光焦度的改变,具有重要的研究意义。本课题采用组合形式,基于介电润湿力、介电泳力、纵向梯度静电力三种不同的驱动力,实现双凸型微流控光学透镜,并对透镜的相关性能进行分
如今出现了很多网上房屋租赁应用,但目前的互联网房屋租赁应用还存在着一些典型的问题:目前的房屋租赁应用仍然是一个中心化的系统,系统所有的数据都被其控制,存在着信息不对称的问题;房屋租赁数据的真实性有待提高,目前仍然存在着很多虚假房源的情况。因此如何实现房屋租赁应用的去中心化管理以及提高房源数据的真实性是目前需要解决的问题。区块链的去中心化以及防篡改特性为房屋租赁应用提供了新的设计思路。为了真正实现去