基于深度学习的连续动作拉班舞谱自动生成方法研究

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:wangcwfq3
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机技术与人工智能的飞速发展,利用数字化智能化手段实现非物质文化资源的保护与传承已成为重要的研究课题。拉班舞谱是一种科学的人体动作分析记录体系,在全世界范围内被广泛应用和传播。作为一种便于存储的书面记录形式,拉班舞谱在记录和保存传统舞蹈方面发挥了巨大作用。由于手工记谱繁琐复杂,运用计算机技术的舞谱自动生成方法应运而生。然而,传统舞谱生成框架下的算法依赖于预先的动作分割,无法进行全局优化;普遍采用的人体骨架特征描述存在一定的信息损失,识别模型的时空综合建模能力有待提高。在此背景下,本文在优化人体骨架特征设计和时空建模能力的基础上,对基于深度学习的“端到端”连续拉班舞谱自动生成框架进行了深入研究,提出如下舞谱自动生成方法:(1)面向舞谱自动生成的时空双流并联模型。本文提出针对运动捕捉数据的李群特征,将动作序列表示为李群上的高维轨迹,由相邻关节、骨骼间的旋转矩阵和矩阵乘法组成,充分描述骨架蕴含的旋转信息。在时空建模方面,本文设计李群卷积网络和长短时记忆网络并联融合的网络结构,利用分数融合方法融合双流特征,结合两者的空间和时间建模能力,达到比单一模型更好的性能。(2)面向连续舞谱自动生成的时空串联模型。本文提出基于连接时序分类器的连续舞谱生成框架,采用卷积神经网络和双向门控循环网络的串联模型,实现对连续人体动作的时空建模。连接时序分类器可实现整体框架的“端到端”训练,使模型对每一帧姿态输出具有判别性的细粒度描述,可灵活识别时长不一的动作,避免了繁琐的动作预分割,降低了系统复杂程度,提高了全局识别准确率。(3)面向连续舞谱自动生成的双流有向图特征与融合网络。本文提出针对运动捕捉数据的朝向归一化的时空双流有向图特征,可有效表达人体关节和骨骼间蕴含的运动学依赖关系。本文设计基于有向图神经网络的双流融合模型,采用两个有向图卷积网络分别处理双流特征,在网络末端通过融合池化模块对时空信息进行融合池化,送入连接时序分类器求解连续动作标签,实现高精度舞谱生成。(4)面向连续舞谱精细化自动生成的半监督动态帧聚类。本文在工作(3)的基础上,添加了半监督动态帧聚类模块,率先提出“先全局运动识别再标注动作时长”的精细化舞谱生成思路。本文采用基于k-均值的动态聚类算法对帧序列进行粗略聚类,再对聚类结果进行平滑池化,以识别算法得到的动作标签作为先验信息,实现对动作持续时间的精确标注。
其他文献
人工智能的发展给医疗行业注入了强大的活力,依托人工智能技术的医学辅助诊断系统,可以有效地解决“患多医少”的压力,同时也能减少医学中的误诊现象,减少医患纠纷的发生。将化验单图像内容准确转换成结构化数据是医学辅助诊断系统安全可靠运行的保证,此外患者手上的纸质化验单图像数据也是医疗大数据的重要来源,中文化验单包含了中英文、符号和数字等混排形式的字符,且目前尚缺乏相关的公开数据集,如何将化验单内容准确自动
多能谱CT(Multi-energy Computed Tomography)可以在单次X射线照射下对分离的能量箱中的光子数进行计数,实现不同物质的识别。由于能量箱狭窄,多能谱CT分解后的物质图像往往具有较低的对比度,对低浓度物质的检测非常困难。同时,在CT浓度检测中需要已知质量衰减系数,约束性较高。针对这些问题,本文提出了基于CT值进行浓度检测的两种像素级浓度检测算法,尝试采用深度学习方法进行浓
数字图像广泛应用于新闻传媒、司法鉴定、法庭取证等各个领域,然而随着信息技术的发展,智能手机、相机的普及使得越来越多强大的数字图像编辑器得到开发和使用。更多的用户能够对图像进行自由随意的处理和修改,使得部分恶意用户有了可乘之机,因此图像的真实性和完整性难以保证。图像模糊操作的取证研究通过技术手段揭示图像操作历史,验证图像数据的真实性和完整性。本文基于传统特征方法和深度学习方法进行了模糊操作取证的研究
根据现行动车组检修规程的要求,动车组的运行里程是决定其进入高级修的时机的主要依据,准确的动车组运行里程预测结果是编制合理的高级修计划的基础前提。目前,随着我国高铁规模不断扩大,投入运营的动车组不断增多,各检修单位所能提供的高级修检修资源显得愈发有限,这对高级修检修计划的编制提出了新的挑战,也间接对动车组运行里程预测方法提出了更高的要求。当前普遍采用以动车组日均走行里程数为关键参数的推算法来预测动车
柔性机械臂具有多自由度、可以实现多方向弯曲以及布置灵活等显著优点,在工业中有广泛的用途。本文针对排水管道检测机器人和清淤机器人的需求,研制了电机-钢丝绳驱动的机械弹簧式柔性臂及摆动气缸驱动的复合软管式柔性臂,应用力学理论分析了两种机械柔性臂的弯曲特性,通过了实验验证并成功应用于排水管道检测与清淤机器人。本论文主要做了以下工作:建立两种柔性臂的弯曲静态模型并进行实验验证。通过力学分析,建立了弹簧在弯
与轮式和履带式机器人相比,步行移动机器人在面对复杂的地形环境时表现出更强的灵活性、适应性和机动性,因此被广泛应用众多领域,成为移动机器人的研究热点。根据支链的形式可将步行机器人分为开链式和闭链式两类,闭链连杆步行机器人因其具有多腿少驱动特性、曲柄周转高频驱动特性、整体闭链高刚度特性及高可靠性特性等优势受到广泛关注,但其单一的足端轨迹反映出其适应能力较低的缺点,限制了其应用场景,因此设计出一款具有高
干涉型光纤传感器由于其抗电磁干扰、耐腐蚀、探测灵敏度高、体积小、易于集成、探头本征无源等突出优势,在水声探测及地震海啸预警等领域中的研究和应用越来越广泛。在振动传感系统中,结合光学复用技术能够形成大规模的干涉型传感阵列,从而实现准分布式传感结构。同时基于声光调制器产生的脉冲信号具有较高消光比,有助于提升准分布式系统整体的性能。此外,干涉信号的相位解调方法也在检测过程中起到了关键性作用。因此以准分布
空间机械臂在太空中要完成许多复杂的任务,而且真空、失重、温差大的恶劣运行环境也为空间机械臂带来了很强的外扰,因此为空间机械臂设计精度高、抗扰能力强的位置控制策略是很有意义的。关节作为空间机械臂的核心组件,对空间机械臂的平稳运行起着至关重要的作用。关节的柔性、驱动电机的输出平稳性均影响空间机械臂的控制精度,因此本文考虑以上因素,对柔性关节机械臂系统的高精度位置控制开展研究。首先采用了基于端口受控哈密
在无人驾驶领域,驾驶决策是当前研究的热点和难点问题。深度强化学习(Deep Reinforcement Learning,DRL)算法寻求以端到端的方式解决问题,但一般需要大量的样本数据,同时面临输入数据复杂性高、模型复杂的问题,导致驾驶策略学习算法收敛速度慢,无法快速学习到有效策略。驾驶策略与多种因素相关,目前采用DRL的方法大多采用简单的约束奖励函数,仅能适应简单交通场景。由于实际交通场景复杂
随着深度学习的发展,全监督学习在计算机视觉、自然语言处理和语音识别等多个领域取得了巨大的进步。全监督学习依赖大量的数据标注,而大规模精细化标注需要很高的成本,影响了全监督学习进一步发展。弱监督学习只需利用不完整、不确切或不准确的数据标注,便可以完成与全监督学习相同的机器学习任务。因此,基于弱监督学习方法的研究具有重要现实应用意义。本文聚焦于以图像级类别标签为弱监督标注的目标定位研究。针对现有弱监督