Research on Dance Generation of Humanoid Robot Based on 2D Pose Estimation

来源 :华中师范大学 | 被引量 : 0次 | 上传用户:guw2000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前,随着现代人机交互技术的进步和飞速发展,机器人在科学和教育领域已经发挥出了重要的作用,教育机器人已经被广泛地逐渐融入到我们的日常学习和工作生活。仿人机器人的研究在全世界的学者中都得到了广泛的重视和关注,其中,仿人机器人的舞蹈生成是在一定长度和时间内的舞蹈姿态动作的数据集合。仿人机器人舞蹈姿态的展示实际上是通过控制机器人的关节在指定的时间内到达特定的空间位置,并将视频中舞蹈者的姿态动作转化为仿人机器人的动作的集合。尽管将仿人机器人用于舞蹈教学具有广阔的市场和应用的前景,然而传统的舞蹈机器人在舞蹈教学和实践中仍然面临着机遇和挑战。首先,机器人的动作主要依靠动作编辑软件人工设计完成,编排一套新的机器人舞蹈动作,需要投入大量的人力和时间成本,且对编排人员有较高的专业知识要求。其次,机器人动作的精细化和精准度不足,遗失了舞蹈中的动作细节,难以满足细粒度舞蹈动作的教学要求。因此,在本文中仿人机器人用来解决舞蹈教学中师资资源的不足而产生的问题,研发舞蹈机器人广泛地用于幼小儿童舞蹈教学,具有重要的教学现实意义和广泛的应用价值。此外,在技术方面,在视频跟踪过程中人物存在被遮挡的现象,对传统的二维姿态估计造成了一定困难。识别到的人体骨骼信息与仿人机器人之间还存在一定的差距,二维姿态估计获取到的信息不能直接应用于机器人。为了验证教育机器人在舞蹈教学中应用的可行性,本文中舞蹈机器人主要采用的是基于帧间姿态距离计算方式的二维姿态估计的算法,获取骨骼姿态信息,通过逆运动学方法可以精确的计算出具体的仿人机器人各个关节动作的夹角并将模仿人体姿态的关节位置信息信息映射到仿人机器人,实现了仿人机器人生成与人体姿态相似的舞蹈动作。本文通过研究并设计一种基于教学视频的人形机器人舞蹈动作自动生成方法,该方法利用视频理解技术,跟踪舞蹈教学视频中人体关节点信息,进而将关节点信息序列分割为动作单元序列,最后重构动作单元序列并映射为机器人动作。为此,需要解决的技术问题有:(1)舞蹈视频的关节点精确跟踪,以获取完整的关节点信息;(2)关节点信息序列的分割,以得到舞蹈动作单元序列;(3)舞蹈动作单元序列的重构,以形成机器人可执行的动作参数。本文研究主要围绕仿人机器人舞蹈教学动作生成方法这一问题,从教学视频关节点跟踪、动作单元分割以及动作序列重构三个方面展开了研究。首先,本文分析了国内外关于二维姿态估计技术的研究现状。主要研究了如何通过二维姿态估计的方式识别并跟踪舞蹈视频中的人体关节点信息,并有效的利用在仿人机器人身上。关节点跟踪主要实现人体关节点的检测与实时跟踪,其核心在于从舞蹈视频中实时检测人体关节点并恢复空间运动信息。该处理的输入为舞蹈教学视频,输出为关节点坐标信息。关节点跟踪的处理过程主要包括关节点的界定和关节点坐标转换这两个方面。对于关节点的分析,本文主要采用二维姿态估计方法计算人体的骨骼关键信息,进而推断出肢体的方位信息。二维人体姿态估计是计算机视觉领域研究的一个重要方向,是人体姿态分析中的关键技术,也是当前的热点研究问题。它主要是从图像或视频数据中检测人体骨骼关键信息。仿人机器人舞蹈动作生成面临的挑战是视频图像中的信息是二维信息,而仿人机器人的动作在三维空间中展示,并且视频中的人体与背景环境的相互遮挡,以及舞蹈视频中人体方位不断变化的因素的干扰,使得我们很难准确地检测、识别和跟踪动态视频中的人体姿态。本文利用视频信息中人体姿态具有连续性这一特点,通过将二维姿态估计算法与帧间检测相关联,采用帧间姿态距离计算的方式,将前一帧的姿态与下一帧的姿态进行关联,解决在动态视频中因出现的肢体被遮挡造成的无法检测的问题,以此实现视频中的人体姿态跟踪。通过实验后验证得到,关联后的骨架关键点信息识别的准确率较单帧姿态识别有一定的提升,改善了部分关节点识别错误的情况。其次,针对识别到的人体关节点的转化过程时与仿人机器人不能完全匹配这一问题,构建了人-机空间直接坐标系。为了实现机器人与人体展示出同样的姿态动作,需要建立机器人骨骼关节点信息与人体骨骼关键点信息之间的对应关系。因此,需要在空间上对人体姿态骨骼关键点与仿人机器人的关节点构建一一对应的映射关系。通过分析建立人机的姿态模型使人体的各种舞蹈姿态数据尽可能的与仿人机器人一一对应。其中,主要主要姿态模型包括仿人舞蹈机器人的头部、肩膀、肘部、手腕、骸部、膝盖共11个人体骨骼结构的关键点姿态信息。接下来,通过建立空间直角坐标系,并结合逆运动学方法将二维人体姿态信息计算出三维的仿人机器人各关节角坐标信息,将仿人机器人中的每一个关节的坐标信息都由(x,y,z)的方式描述出来。当仿人机器人处在这个三维直角坐标系时,机器人的三维坐标原点位于两只脚的中间位置,正前方为x轴,垂直向上的方向为z轴,y轴则垂直于x和z轴构成的平面。在仿人机器人进行舞蹈表演时,可以依靠此参考坐标系对舞蹈动作进行生成,给出仿人机器人姿态的具体空间位置。虽然仿人机器人的关节特征与人体类似,但是由于机器人物理结构的限制,机器人仍然无法展示出对应人体关节较大角度的情况下的舞蹈姿态。其中,以手臂关节为例,获取姿态信息后,仿人机器人的手臂关节作为目标进行验证,肩关节有两个自由度向上抬起放下和左右横向活动。在本实验中,如果人体关节的角度变化超出了机器人的运动范围,则将其指定为机器人运动的最大极限值。然后,介绍了如何对视频中的舞蹈动作进行预处理。主要分为三个步骤:第一步,通过动作单元分割实现关节点坐标序列的分割,得到动作单元序列,每个动作单元序列对应一个关节点坐标子序列。动作的分割主要使用基于滑动窗口的视频序列分割方法,使用不同长度的窗口对人体舞蹈表演的视频进行舞蹈姿态的动作序列分割,从主要舞蹈动作序列中提取到舞蹈动作信息;第二步,在去除掉舞蹈动作序列中的冗余信息后保留主要的舞蹈动作序列;第三步,基于二维姿态估计技术将图片中的人体舞蹈动作识别为具体的骨骼关键点信息,关键帧中每一帧的骨架关键信息都将识别作为基本的人体舞蹈视频动作姿态单元。接下来,动作序列重构实现动作单元顺序的重新编排,并将编排后的动作序列转换为机器人动作参数序列。利用第三章提出的逆运动学方法计算出相应的关节变量,并将计算出的关节变量作为控制变量发送给仿人机器人,即可由仿人机器人模仿出人的姿态动作,每一个基本动作单元可以实现一个姿态动作的展示,连续的动作变化则构成了机器人的舞蹈。最后,本文提出了基于二维姿态估计的仿人机器人舞蹈教学系统的框架。教学系统包括舞蹈姿态生成、舞蹈姿态编排、仿人机器人动作控制和教学内容评估等模块。机器人动作生成一般有两种方法,一种是提取视频中舞蹈动作序列的人体姿态信息;另一种是预先建立舞蹈姿态数据集,通过深度学习根据音乐关联动作特征向量使得机器人可以自动生成舞蹈姿势序列。本文主要是研究的第一种方式,在仿人机器人的教学环节,仿人机器人与人的交互和教学是设计中需要考虑的关键问题。为了进一步提高教学系统的教学效果,使机器人的动作展示具有良好的观赏性,采用了舞蹈单元编排组合的方式对其设计更复杂的舞蹈动作。对基本的舞蹈动作单元进行编排,将4个基本动作作为一组,设计成一个舞蹈动作序列由仿人机器人进行教学展示。可以重复的对动作序列展示,达到舞蹈教学的目的。同时,在仿人机器人的复杂动作展示过程中,对仿人机器人的姿态控制也尤为重要,对仿人机器人在舞蹈动作展示时稳定性控制以及意外跌倒等问题的出现也是设计中的难点。此外,可以使用二维姿态估计技术对仿人机器人生成的舞蹈动作进行分析,比对仿人机器人生成的动作序列是否符合规范,生成的姿态动作能否达到我们的教学预期目标。如果仿人机器人的动作不符合规范,设计进一改进的方案。该系统框架将人体姿势分析技术与舞蹈教学模式相结合,结合对照组教学实验对该模式下的舞蹈教学效果进行分析,验证其可以达到较好舞蹈教学的效果,对传统舞蹈的信息化教学具有重要意义。本研究旨在通过仿人机器人实现舞蹈教学,并发挥机器人在教育领域的积极作用。在最后对教学机器人的未来发展进行了展望,探索了仿人机器人的智能教学中实现舞蹈教学和动态评价。
其他文献
西方传统音乐教育理念下,音乐教育注重音乐唱奏技巧与音乐知识的单独传输,导致实际音响和理论学习、情感体验与唱奏技术的分离,特别是在民办音乐机构,这一社会音乐教育重要组成部分中这一现象尤为严重。为此,必须更新教育理念与方法,重塑音乐教育目标,还原音乐教育本质,而达尔克罗兹音乐教学法在这方面体现出先进性、适应性。首先,经过对文献的收集、整理与查阅,对达尔克罗兹音乐教学法的创立与发展进行梳理与总结,在此基
学位
中国一直以来都是一个农业大国,农产品是农业发展的产物,农产品的生产、加工、销售在我国经济发展中占据重要地位。进入21世纪,伴随着国外优质农产品的流入,人们对农产品安全质量、农产品的来源问题日益重视,农产品呈现相对过剩的形势,传统的农产品销售模式受到了严峻的挑战。随着现代科技网络的迅速发展,电子商务走进人们生活,在国家提出了“互联网+”的发展背景下,农产品的销售经营也搭上了电子商务的快车。在目前的农
学位
在上市节奏加快的背景下,进入资本市场的公司不断增多,截至2020年3月31日,A股上市公司已达4090家。然而与欧美国家相比,我国市场还不够成熟,舞弊造假的行为屡禁不止,仅2010-2019年间,A股就有113家公司因财务舞弊而被公开处罚。完善和发展我国资本市场任重道远,因此更需要深入研究当前的舞弊事件,并重视对财务舞弊问题的防范,为资本市场的有序发展保驾护航。本文选取欢瑞世纪财务造假案例进行研究
学位
络合态重金属是指水中游离的重金属离子与络合剂以配位键结合形成的一种结构稳定的络合物,具有很高的水溶性、生物难降解性和耐久性等特点。传统的电催化法对络合重金属进行解络和重金属的回收存在活性位点少、传质距离长及能耗高的问题。本文针对络合重金属的高效解络和重金属同步回收的问题,提出以活性炭(PAC)和还原氧化石墨烯(r GO)为载体,以金属镍为催化剂的催化粒子电极,并用于Cu-EDTA的电催化处理,探究
学位
后金融时代,对外贸易规模扩张与贸易结构优化是世界贸易发展的两大主题。随着经济的全球化国际贸易环境愈发复杂,无论是发达国家或是发展中国家都试图采取各种政策性手段来鼓励和支持出口,刺激本国出口贸易发展,推动贸易结构的优化。在WTO规则的限制下,可供选择的贸易手段十分有限,出口信用保险作为为数不多的被WTO允许使用的政策性贸易促进手段受到多国青睐,据伯尔尼协会统计,目前全世界已有80多个国家设立了出口信
学位
湘西地区因其独特的地理区位和地理环境成为历史上连通中原与西南地区的重要交通要道,因其独特的山地环境,成为诸多少数民族躲避中原地区控制的定居之所,是中原文明与少数民族文化的交界地带。中原统治者为了守卫这条交通要道,镇压当地少数民族势力,在不同朝代的不同军事政策下在此设立了大量基于军事性目的的聚落。这些军事聚落为湘西地区带来新的移民、开垦土地、保障了湘西地区的稳定,促进了后续农业以及商业贸易的发展,为
学位
股利政策作为企业三大财务决策之一,其实质是公司未来发展与股东回报权衡后的产物,合理的股利政策有利于协调各方利益主体之间的矛盾,促进企业良性发展,因此制定合理的股利政策长期以来都是业界学者的研究热点。我国证券市场虽在不断发展,但是相对于西方资本市场还是不够成熟,如今关于现金股利仍存在派现意愿不高的问题,并且存在短期行为以及派现随意性和波动性等问题。相关监管机构出于促使证券市场良性发展的目的,出台了一
学位
p38丝裂酶原活化蛋白激酶(Mitogen-activated protein kinase,MAPK)是一类能被细胞外不同刺激所激活的丝氨酸-苏氨酸蛋白激酶,位于众多细胞信号通路的中枢位置,在先天免疫反应中发挥重要作用。罗非鱼(Oreochromis)是联合国粮农组织(FAO)重点推荐养殖的水产品之一,具有一定的经济价值,对我国水产养殖业发展起到重要的作用。然而近年来以无乳链球菌为主的链球菌病大
学位
ε-聚赖氨酸(ε-poly-L-lysine,简称ε-PL)是一种同型氨基酸聚合物,由多个赖氨酸残基通过α-COOH和ε-NH2连接而成,聚合度一般为5-35,分子量范围一般在780-4600Da。由于其主链上存在许多游离氨基,在酸性到弱碱性环境中表现出多阳离子特性,它对多种微生物,包括大多数革兰氏阳性菌和革兰氏阴性菌、霉菌、酵母还有噬菌体均有抑制作用。ε-PL的合成是在聚赖氨酸合成酶的催化作用下
学位
教育部发布的《中国学生发展核心素养(征求意见稿)》、2022年版初中生物学课程标准,让由态度责任、科学思维、探究实践和生命观念组成的生物学科核心素养成为了培养人才时参考的价值取向。在生物学教学中,概念教学是教师为了引导学生经过探索,从生物学现象中学到现象所对应的生物学概念的过程,生命观念是生物学科核心素养的基石,生物学概念是生物知识体系的基础,因此,生物学概念和生命观念有着共同的基础特征,所以说进
学位