基于人体运动的情绪识别

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:yiyiweiwei
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前,随着信息时代的高速发展和计算机计算能力的不断提高,人机交互的情绪识别是发展最快的研究领域之一。为了提高人机交互的效率,增强计算机识别情绪的能力是十分重要的。当前情绪识别的研究大多集中于人的面部表情、声音、文本等方面,而人体运动的情绪识别任务较少受到关注。然而,日常生活场景较为复杂,可能出现面部表情、语音等失效的情况,这时空间尺度更大的肢体动作情绪识别往往能够发挥更大的作用。现有的情绪识别数据集大多不包含肢体动作,即使少部分数据集包含肢体动作信息,又面临着仅仅通过有限个动作表达不同情绪的限制,难以对真实场景下的情绪识别任务提供指导。针对这些问题,本文将基于人体运动的情绪识别作为主要研究内容,完成了人体运动情绪数据集的构建工作,旨在对日常生活下基于肢体动作的情绪识别任务提供指导,探究无约束状态下情绪识别的方法,丰富情绪识别领域中的研究数据。本文基于拉班动作分析构建了情绪特征,最后用与图神经网络结合的方式完成了情绪识别工作。本文的主要工作包括:第一,构建了日常生活场景下的人体运动情绪数据集,极大的丰富了基于人体运动的情绪识别研究领域的数据量。数据集中人脸情绪表达几乎不可辨别,将该数据集上情绪研究的重点集中在肢体动作的情绪识别上,同时数据集提供了RGB图像、Depth图像以及动作捕捉数据,基本涵盖了描述肢体动作的主流数据格式。为了进一步扩充数据集的数据,应用了姿态估计算法来进行数据集的扩充,极大的降低了重新设计并构建数据集的成本。第二,在构建的情绪识别数据集上,本文将拉班运动分析(LMA)理论与基本情绪模型结合,利用动作捕捉数据的骨骼模态设计并计算了LMA特征信息,并对其身体、力效、空间、形体四个分量的特征向量分别进行分析,通过分类器验证了拉班运动分析各个分量和因子特征的有效性。第三,针对数据集中骨骼模态数据,利用图卷积神经网络与注意力机制结合的方式,构建了基于图卷积的情绪识别模型,并采用了分阶段识别框架,将经注意力网络选择后的拉班运动分析特征与图神经网络输出特征进行分层次融合,使情绪识别效果得到有效提升。
其他文献
传统人机交互的信息输入方式具有一定的局限性,随着技术的发展,手势识别的应用为人机交互提供了一种新型解决方案。手势作为人类的第二语言能够直接地传达个体信息,在交互方面更加灵活方便。基于计算机视觉的二维手势交互技术日渐成熟,为了显著降低交互延迟,需要较高性能的计算机设备,使用成本较高且局限于计算机使用。针对这种问题,论文提出了一种基于Xilinx公司的PYNQ开发平台实现的二维手势交互设计的解决方案。
计算机辅助几何设计(简称CAGD)的重点研究内容之一是曲线曲面的表示与逼近,CAGD十分重视CAD/CAM的数学理论和几何体的构造,利用数学理论描绘曲线、曲面、零部件、装配件等几何形状间的配合、包含、约束等关系,利用计算机手段对这些几何形状进行分析、调整、优化进而达到对产品设计等预期的目标。由于Bézier曲线具有变差缩减、细分等优良性质和良好的形状控制能力,所以在曲线造型中得到了广泛应用,在CA
近年来,数据驱动型算法逐渐成为了计算机医学影像分析方法的主流。目前的数据驱动算法主要侧重于学习输入数据与输出结果之间的映射关系,未能有效利用高层次的知识信息。在医学影像分析领域,高层次知识包括医生多年总结的诊断经验、人体器官形状知识、解剖特征点位置知识等,这些医学知识对于影像分析具有重要参考价值,却很难通过数据驱动型算法直接学习得到。本论文通过融入医学知识来提升医学影像分析算法的性能,在图像分割、
拓扑优化是结构优化方法的一种,是设计中的重要步骤,其目的是在设计域内为给定量的材料做最佳分布,该工作除了为设计者在概念设计阶段提供参考,还可对现有设计方案做进一步优化。伴随着20世纪以来的自动驾驶以及航空工业的发展,拓扑优化在越来越多的学科有了广泛的应用。拓扑优化的经典方法为SIMP算法,然而该方法的迭代次数多,收敛较慢,且运算复杂。为了解决这些问题,本文受到前人工作的启发,将传统的优化问题看作图
在土工三轴试验的力学性能测试过程中,土样体积变化的测量是非常重要的环节。对于饱和土,土样体积变化的测量技术相对成熟,可利用量筒间接测量流体吸入或排出饱和试样的体积来实现。然而,对于非饱和土,土样内部不可避免地存在空隙、气泡等,传统饱和土体积变化的测量手段已无法准确测量非饱和土的状况。数字图像技术因其测量精度高、不扰动试样,在土样体积变化测量方面具有显著的优势。本论文引入数字图像测量技术开展土样体积
单目深度估计是计算机视觉领域中一项重要而具有挑战性的任务,而且在三维场景重建、无人驾驶、医学图像处理、现代化军事以及智能交通系统中都发挥关键性作用。其目的在于估计出RGB图像中每一像素点的深度信息。基于深度学习的深度估计流程为:首先输入一张二维图像,然后进入卷积神经网络即编码器-解码器结构,最后估计出图像中场景的深度值。在深度估计的过程中,网络模型的精确度往往会受到图像尺度与场景环境的影响。尽管目
使用社交媒体平台是如今大部分人日常生活的一大特色。人们喜欢在互联网上分享自己的感受、趣闻轶事、大事小情,包括自己的身体状况、病情、用药等等。这同时也为自然语言处理工作带来了源源不断的数据资源。健康已经成为全世界最为关注的问题之一,它与我们每一个人都息息相关,并且在生活中扮演越来越重要的角色。将机器学习以及深度学习方法应用于生物医学领域是一种新的发展趋势,并将带来更大的发展。而社交媒体数据是由用户自
为满足我国近年来航空航天事业的发展需要,对大型构件的高效高精加工提出了新的要求,而数字化测量技术是保证加工过程高精、高效、高鲁棒的关键。目前,国内外航空航天业已经对工业生产中的测量技术进行了大量研究,其中视觉测量作为一种非接触式测量方法,具有数据采集快速、高精高效、便于移动、能够三维测量等优点,受到了工业界的充分研究和重视。本文主要研究了基于双目视觉的大型航空航天构件加工过程中局部加工定位点的高精
轻量级区块链继承了传统区块链的优势,对数据的安全性加以保障,同时结合移动边缘计算理念,避免了对计算和存储资源的过度依赖,满足了车联网边缘节点的实际需求。恰当的人工智能算法可根据车辆需求和上报数据的变化,有效地决定和分配不同地区的数据缓存,以避免数据与地域兴趣不匹配,从而间接影响车辆行驶过程中的数据卡顿等问题。本文结合现有的车联网特点和区块链技术,提出了一种轻量级区块链应用于车联网的架构,并引入协同
定制产品设计和生产制造过程中,制造商常邀请用户通过虚拟体验等方式感知产品性能。通过分析用户完成产品体验后发表的用户评价,了解产品设计的不足与缺陷,从而有针对性的完善产品性能,使定制产品更加适应用户需求。情感分析技术是一种基于句法分析和机器学习的文本观点提取与情感判断方法,在文本数据分析处理过程中,它可以基于文本数据近似模拟出文本特征与其情感倾向的关系。与人工分析文本相比,文本情感分析技术能够有效缩