基于深度学习的舞蹈生成模型研究与实现

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:lihai3120
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在音乐驱动的计算机舞蹈动作生成领域中,传统的音乐动作匹配模型和统计映射模型存在着以下几点问题。首先,模型生成的舞蹈与音乐本身的契合性不够强;其次,生成的舞蹈动作的完整性不足;第三,长时间舞蹈序列的平滑性和合理性有待加强;第四,传统模型无法生成新的舞蹈动作。如何根据音乐生成平滑完整并且契合音乐的舞蹈姿态序列是本文要研究的问题。针对这些问题,我们设计了一种基于深度学习的舞蹈生成算法来提取声音和动作特征之间的映射。在特征提取阶段,我们使用从音乐中提取的韵律特征与音频节拍特征作为音乐特征,从舞蹈视频中提取的人体骨骼关键点坐标作为运动特征进行训练。在模型搭建阶段,通过模型的生成器模块实现音乐与舞蹈动作的基本映射,以生成平滑的舞蹈姿态;通过判别器模块来实现舞蹈与音乐的一致性;通过自编码器模块使音频特征更具有代表性。在真人化阶段,使用改进版的Pix2Pix HD模型将舞蹈姿态序列转化为真人版的舞蹈。最终得到契合音乐的真人版的舞蹈。实验获取网络上的舞蹈视频作为训练数据,从损失函数值,不同Baseline比较,序列生成效果评估,用户研究和真人化舞蹈视频的质量评估五个方面进行实验结果分析。试验结果表明,我们的舞蹈生成模型方案能够有效提取音乐的特征,生成契合音乐的舞蹈姿态序列,并转化为逼真的真人舞蹈视频。
其他文献
烃源岩的生烃母质来源和发育环境是控制高丰度烃源岩形成的重要因素。本文根据有机碳含量分析、岩石热解分析、无机元素测试、饱和烃及芳烃色谱-质谱分析等地球化学实验测试
随着我国城乡一体化进程的加快,城市和农村出现了两种截然不同的现象,城市建设用地供需矛盾日益突出,同时也大量吸引农村青壮劳动力走向城市,而农村出现空心化,导致我国农村面临的土地资源浪费严重、利用率低、群众居住条件差等问题日益突出,这严重制约着我国城镇化进程和农村农业的发展,需要探索一条路径,既能改善农民群众居住条件,提高农村土地利用率,又能促进城乡融合发展。党的十九大报告中明确提出实施乡村振兴战略,
写作在高中英语教学中占据着重要地位,它作为语言输出的主要方式,是学生英语综合运用能力的体现。因此,为了提高英语写作教学水平,越来越多的研究者开始研究把同伴反馈运用到英语写作教学中的可行性和有效性。本研究以维果茨基的活动理论为基础,构建了五种同伴反馈策略,即双语交际、外部资源、写作标准、角色分工和寻求同伴和教师帮助,并探究这五种反馈策略在高中英语写作教学中的应用,旨在为高中英语写作教学提供新思路。主
毫无疑问,人工智能已成为人类生活不可分割的一部分。在当今,人工智能正无时无刻地重塑着我们的思想版图、社会结构、生活方式,影响着我们每个人的选择。2016年,一款被称作"
库车坳陷深层碎屑岩储层的后期改造受控于构造和流体两大因素。本文以大北区块白垩系巴什基奇克组为研究对象,根据薄片及岩心观测、生产测试等分析储层特征;通过岩石磁组构法
近年来,物业服务企业承担安全保障义务的责任纠纷案件越来越多,司法实务从保护受害者的角度往往会作出有利于被侵权人的判决,物业服务企业往往因此承担了过多的责任,甚至出现
亚洲柑橘木虱(Diaphorina citri Kuwayama),是至今为止众所周知传播黄龙病菌(严重威胁全球柑橘产量的病害之一)的自然虫媒之一,因此防控柑橘木虱有助于阻止黄龙病蔓延。这几
因疾病、交通事故或不当的体育运动造成的肌腱损伤是常见的临床问题。肌腱组织因具有少细胞、寡供血以及低代谢的结构特征,使受损肌腱,包括受损腱体和肌腱止点损伤的腱-骨区
褐根病是一种由有害木层孔菌(Phellinus noxius)引起的土传真菌病害,到目前为止,还没有一种理想的防治药剂和防治方法来控制它。目前,由于绿色农业倡导从生态学的角度出发,利
国际上很多著名实验合作组如LHCb,JLab等都在致力于研究各种强子共振态的性质,与此相关的强子共振态的理论研究一直非常活跃,这是检验相互作用基本理论的重要场所.手征幺正方