论文部分内容阅读
目前,随着现代人机交互技术的进步和飞速发展,机器人在科学和教育领域已经发挥出了重要的作用,教育机器人已经被广泛地逐渐融入到我们的日常学习和工作生活。仿人机器人的研究在全世界的学者中都得到了广泛的重视和关注,其中,仿人机器人的舞蹈生成是在一定长度和时间内的舞蹈姿态动作的数据集合。仿人机器人舞蹈姿态的展示实际上是通过控制机器人的关节在指定的时间内到达特定的空间位置,并将视频中舞蹈者的姿态动作转化为仿人机器人的动作的集合。尽管将仿人机器人用于舞蹈教学具有广阔的市场和应用的前景,然而传统的舞蹈机器人在舞蹈教学和实践中仍然面临着机遇和挑战。首先,机器人的动作主要依靠动作编辑软件人工设计完成,编排一套新的机器人舞蹈动作,需要投入大量的人力和时间成本,且对编排人员有较高的专业知识要求。其次,机器人动作的精细化和精准度不足,遗失了舞蹈中的动作细节,难以满足细粒度舞蹈动作的教学要求。因此,在本文中仿人机器人用来解决舞蹈教学中师资资源的不足而产生的问题,研发舞蹈机器人广泛地用于幼小儿童舞蹈教学,具有重要的教学现实意义和广泛的应用价值。此外,在技术方面,在视频跟踪过程中人物存在被遮挡的现象,对传统的二维姿态估计造成了一定困难。识别到的人体骨骼信息与仿人机器人之间还存在一定的差距,二维姿态估计获取到的信息不能直接应用于机器人。为了验证教育机器人在舞蹈教学中应用的可行性,本文中舞蹈机器人主要采用的是基于帧间姿态距离计算方式的二维姿态估计的算法,获取骨骼姿态信息,通过逆运动学方法可以精确的计算出具体的仿人机器人各个关节动作的夹角并将模仿人体姿态的关节位置信息信息映射到仿人机器人,实现了仿人机器人生成与人体姿态相似的舞蹈动作。本文通过研究并设计一种基于教学视频的人形机器人舞蹈动作自动生成方法,该方法利用视频理解技术,跟踪舞蹈教学视频中人体关节点信息,进而将关节点信息序列分割为动作单元序列,最后重构动作单元序列并映射为机器人动作。为此,需要解决的技术问题有:(1)舞蹈视频的关节点精确跟踪,以获取完整的关节点信息;(2)关节点信息序列的分割,以得到舞蹈动作单元序列;(3)舞蹈动作单元序列的重构,以形成机器人可执行的动作参数。本文研究主要围绕仿人机器人舞蹈教学动作生成方法这一问题,从教学视频关节点跟踪、动作单元分割以及动作序列重构三个方面展开了研究。首先,本文分析了国内外关于二维姿态估计技术的研究现状。主要研究了如何通过二维姿态估计的方式识别并跟踪舞蹈视频中的人体关节点信息,并有效的利用在仿人机器人身上。关节点跟踪主要实现人体关节点的检测与实时跟踪,其核心在于从舞蹈视频中实时检测人体关节点并恢复空间运动信息。该处理的输入为舞蹈教学视频,输出为关节点坐标信息。关节点跟踪的处理过程主要包括关节点的界定和关节点坐标转换这两个方面。对于关节点的分析,本文主要采用二维姿态估计方法计算人体的骨骼关键信息,进而推断出肢体的方位信息。二维人体姿态估计是计算机视觉领域研究的一个重要方向,是人体姿态分析中的关键技术,也是当前的热点研究问题。它主要是从图像或视频数据中检测人体骨骼关键信息。仿人机器人舞蹈动作生成面临的挑战是视频图像中的信息是二维信息,而仿人机器人的动作在三维空间中展示,并且视频中的人体与背景环境的相互遮挡,以及舞蹈视频中人体方位不断变化的因素的干扰,使得我们很难准确地检测、识别和跟踪动态视频中的人体姿态。本文利用视频信息中人体姿态具有连续性这一特点,通过将二维姿态估计算法与帧间检测相关联,采用帧间姿态距离计算的方式,将前一帧的姿态与下一帧的姿态进行关联,解决在动态视频中因出现的肢体被遮挡造成的无法检测的问题,以此实现视频中的人体姿态跟踪。通过实验后验证得到,关联后的骨架关键点信息识别的准确率较单帧姿态识别有一定的提升,改善了部分关节点识别错误的情况。其次,针对识别到的人体关节点的转化过程时与仿人机器人不能完全匹配这一问题,构建了人-机空间直接坐标系。为了实现机器人与人体展示出同样的姿态动作,需要建立机器人骨骼关节点信息与人体骨骼关键点信息之间的对应关系。因此,需要在空间上对人体姿态骨骼关键点与仿人机器人的关节点构建一一对应的映射关系。通过分析建立人机的姿态模型使人体的各种舞蹈姿态数据尽可能的与仿人机器人一一对应。其中,主要主要姿态模型包括仿人舞蹈机器人的头部、肩膀、肘部、手腕、骸部、膝盖共11个人体骨骼结构的关键点姿态信息。接下来,通过建立空间直角坐标系,并结合逆运动学方法将二维人体姿态信息计算出三维的仿人机器人各关节角坐标信息,将仿人机器人中的每一个关节的坐标信息都由(x,y,z)的方式描述出来。当仿人机器人处在这个三维直角坐标系时,机器人的三维坐标原点位于两只脚的中间位置,正前方为x轴,垂直向上的方向为z轴,y轴则垂直于x和z轴构成的平面。在仿人机器人进行舞蹈表演时,可以依靠此参考坐标系对舞蹈动作进行生成,给出仿人机器人姿态的具体空间位置。虽然仿人机器人的关节特征与人体类似,但是由于机器人物理结构的限制,机器人仍然无法展示出对应人体关节较大角度的情况下的舞蹈姿态。其中,以手臂关节为例,获取姿态信息后,仿人机器人的手臂关节作为目标进行验证,肩关节有两个自由度向上抬起放下和左右横向活动。在本实验中,如果人体关节的角度变化超出了机器人的运动范围,则将其指定为机器人运动的最大极限值。然后,介绍了如何对视频中的舞蹈动作进行预处理。主要分为三个步骤:第一步,通过动作单元分割实现关节点坐标序列的分割,得到动作单元序列,每个动作单元序列对应一个关节点坐标子序列。动作的分割主要使用基于滑动窗口的视频序列分割方法,使用不同长度的窗口对人体舞蹈表演的视频进行舞蹈姿态的动作序列分割,从主要舞蹈动作序列中提取到舞蹈动作信息;第二步,在去除掉舞蹈动作序列中的冗余信息后保留主要的舞蹈动作序列;第三步,基于二维姿态估计技术将图片中的人体舞蹈动作识别为具体的骨骼关键点信息,关键帧中每一帧的骨架关键信息都将识别作为基本的人体舞蹈视频动作姿态单元。接下来,动作序列重构实现动作单元顺序的重新编排,并将编排后的动作序列转换为机器人动作参数序列。利用第三章提出的逆运动学方法计算出相应的关节变量,并将计算出的关节变量作为控制变量发送给仿人机器人,即可由仿人机器人模仿出人的姿态动作,每一个基本动作单元可以实现一个姿态动作的展示,连续的动作变化则构成了机器人的舞蹈。最后,本文提出了基于二维姿态估计的仿人机器人舞蹈教学系统的框架。教学系统包括舞蹈姿态生成、舞蹈姿态编排、仿人机器人动作控制和教学内容评估等模块。机器人动作生成一般有两种方法,一种是提取视频中舞蹈动作序列的人体姿态信息;另一种是预先建立舞蹈姿态数据集,通过深度学习根据音乐关联动作特征向量使得机器人可以自动生成舞蹈姿势序列。本文主要是研究的第一种方式,在仿人机器人的教学环节,仿人机器人与人的交互和教学是设计中需要考虑的关键问题。为了进一步提高教学系统的教学效果,使机器人的动作展示具有良好的观赏性,采用了舞蹈单元编排组合的方式对其设计更复杂的舞蹈动作。对基本的舞蹈动作单元进行编排,将4个基本动作作为一组,设计成一个舞蹈动作序列由仿人机器人进行教学展示。可以重复的对动作序列展示,达到舞蹈教学的目的。同时,在仿人机器人的复杂动作展示过程中,对仿人机器人的姿态控制也尤为重要,对仿人机器人在舞蹈动作展示时稳定性控制以及意外跌倒等问题的出现也是设计中的难点。此外,可以使用二维姿态估计技术对仿人机器人生成的舞蹈动作进行分析,比对仿人机器人生成的动作序列是否符合规范,生成的姿态动作能否达到我们的教学预期目标。如果仿人机器人的动作不符合规范,设计进一改进的方案。该系统框架将人体姿势分析技术与舞蹈教学模式相结合,结合对照组教学实验对该模式下的舞蹈教学效果进行分析,验证其可以达到较好舞蹈教学的效果,对传统舞蹈的信息化教学具有重要意义。本研究旨在通过仿人机器人实现舞蹈教学,并发挥机器人在教育领域的积极作用。在最后对教学机器人的未来发展进行了展望,探索了仿人机器人的智能教学中实现舞蹈教学和动态评价。