基于Transformer的舞伴动作生成及应用

来源 :杭州电子科技大学 | 被引量 : 0次 | 上传用户:dashanLau
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
舞蹈是普遍和历史悠久的艺术形式之一,被广泛用于艺术表达、社交互动与感情表达中。双人舞蹈与普通的单人舞蹈相比,需要两个人随着音乐的节奏一起跳舞,并根据相应舞蹈规则改变各自的姿势。在上世纪初,世界各地出现了多种双人舞蹈,比如阿根廷的《探戈舞》、古巴的《萨尔萨舞》、巴西的《福罗舞》等。随着信息技术的发展,越来越多的舞蹈学习者倾向于在线上进行舞蹈学习。通常线上进行舞蹈学习仅能观看互联网上的视频,而双人舞蹈学习过程中较单人舞蹈学习会遇到更多的问题:首先,双人舞蹈学习过程中需要额外的舞伴配合;其次,双人舞蹈学习需要跟随舞伴实时做出正确的舞蹈姿势;第三,在线学习双人舞蹈时缺乏交互反馈以及科学的舞蹈动作质量评估。针对上述问题,本文设计了一种改进型Transformer模型结构,能够根据用户的动作序列生成舞伴动作序列。并在虚拟现实环境中搭建了体感交互环境,结合体感设备实时捕捉用户动作,将动作序列输入网络中得到舞伴动作序列驱动虚拟化身。本文主要研究内容包括:1.基于拉班动作分析方法对双人舞蹈的语义表示进行了研究,设计了一套适用于评估双人舞蹈动作质量的评价指标,并通过t-SNE流形学习算法对所设计的指标有效性进行了可视化验证。2.基于Transformer模型的舞伴序列生成,利用包含两个舞者的动作数据集,在Pytorch深度学习框架下完成了对网络的搭建与训练,以学习舞蹈运动的结构,通过与其他常用序列生成模型的方法进行对比,验证了所设计的算法的鲁棒性与有效性。3.采用Transformer模型训练得到的序列生成模型,将深度学习中的序列生成技术与动作捕捉、虚拟现实技术相结合,结合自然人机交互思想,利用Kinect完成了能够实时得到虚拟舞伴反馈的舞蹈学习的交互系统,并引入了拉班动作分析方法对用户舞蹈动作质量进行了评估。
其他文献
美声作为舶来的一种发声方法,其本身的科学性给我国声乐事业带来了巨大的“冲击”,这种“冲击”并不是一种负面的、带有攻击性质的影响,更多的是一种帮助,是一种发展的“催化剂”。作为土生土长的西北人,在声乐学习的过程中,笔者受到了西北民歌文化与美声唱法的不同影响。美声歌唱其实就是指意大利唱歌的一种风格,Bel Canto在意大利之中,根据字面的翻译应该是美妙的歌唱,同样也可以将其翻译为美歌或者美唱。具体来
学位
伯恩哈德·朗(Bernhard·Lang),1957年2月24日出生在奥地利林茨,是当代奥地利作曲家,其创作深受“先锋派”作曲家的影响。他在布鲁克纳学院高中完成学习后,搬到格拉茨学习爵士钢琴、编曲和古典钢琴。在那里,他还学习了哲学和德国文献学。2006年作为特邀艺术家参加维也纳现代艺术节。2013至2014年间,他在卢塞恩音乐学院任作曲客座讲师。伯恩哈德·朗在当代德奥先锋派作曲家中较为活跃,他的创
学位
德国艺术歌曲早在古典主义时期就已经产生了先驱的作品,到了浪漫主义时期有了更大发展,形成了德国艺术歌曲的全盛期。德国艺术歌曲是由独立的诗歌和音乐的结合而形成,在有着同样的文化、语言背景的德语圈国家里被统称为“德国艺术歌曲”,就像当时的“德国文学”、“德国歌剧”一样,“德国艺术歌曲”作为一种音乐创作的体裁,在西洋音乐史上占据了重要的位置,并在世界范围内得到了认可与传承。中国艺术歌曲起源于20世纪初的新
学位
美国音乐教育研究起步较早,且对于儿童的音乐教育甚至是早期儿童音乐教育的研究同样重视。加之美国所颁布的《国家核心艺术标准》注重培养各个阶段学生的音乐能力,使得美国在儿童音乐教育领域的发展十分具有借鉴意义。针对我国在儿童音乐教育已有研究上存在纵深性和全面性上的不足,本研究立足于2000年-2020年美国儿童音乐教育的文献以及相关的实践研究,借助文献计量软件Citespace对文献关键信息进行数据整理分
学位
什么是声音主义(Sonorism或Sonoristic)?从文字上而言,声音主义源自法语“sonner”(声音);在风格上,它被称之为Sonorism,指其创作内容以音色音响为主要参数的音乐作品;在理论上,它被称之为Sonoristic,指对音色音响类作品的分析思路。在创作上,声音主义不同于西方先锋派以数字化来创作音乐,而是关注实际音响效果;在音乐内容上,它与联觉产生呼应,回避任何文字上的形式解说
学位
李叔同是中国近代音乐领域最早的启蒙者之一,其最显著的成就是:编印出版歌曲集《国学唱歌集》、音乐杂志《音乐小杂志》以及综合文艺杂志《白阳》,在以上歌集和杂志中,刊录了他众多歌曲作品;此外,李叔同从事教育期间、出家后亦创作有众多乐歌。不同时期,李叔同有不同的生命体验和精神领悟,而此则物化为首首乐歌。通过分析他不同时期的乐歌作品,剖析其艺术语言与艺术技巧,尤其将视角聚焦于词、曲关系研究,可明晰李叔同生平
学位
现如今互联网和多媒体技术飞速提升,随之而来的是大量图像数据的产生。对这些数据进行高效的分类和管理,不仅可以提高查询信息的效率,还可以为计算机视觉研究做准备,例如:目标检测和图像搜索。尤其是近几年来,在计算机视觉领域尤其是图像分类领域,深度学习技术获得了突破性的进展。它首先对人脑视觉神经系统进行模拟,然后对原始的图像采取抽象化的处理方式,由此获得与对象较为接近的高级语义特征,以进一步应用于图像数据分
学位
钢琴视奏是指在没有预先排练的情况下,对新谱进行即时的演奏表现。这是一种较为复杂的技能,它在钢琴学习的整个过程中,是演奏综合能力的一种重要体现。拥有卓越的视奏能力不仅可以开拓学生的音乐视野,帮助他们快速且正确地练习,还能促进培养其学习音乐的兴趣。本文通过梳理和总结国内外钢琴视奏的相关研究,提炼出视奏的相关理论、钢琴视奏教材和视奏有效教学方法等内容。并以此作为理论基础,从教材内容和视奏学习方法两个方面
学位
歌剧咏叹调以其巨大的艺术价值及优美旋律,一直以来都是美声歌唱学习者必须掌握的一环,如何学习并演唱好中外歌剧咏叹调是美声歌唱教学中的重点和难点之一。笔者拟以中国歌剧《苍原》中娜仁高娃的咏叹调《情歌》及贝利尼(V.Bellini)的歌剧《凯普莱特与蒙泰古》(I Capuleti e i Montecchi)中朱丽叶(Giulietta)的咏叹调《啊!多少次》(Eccomi in lieta vesta
学位
近年来物流业的快速发展极大地提高了全球贸易的效率。然而,物流业发展带来的车辆保有量的急剧增加导致了一些社会和交通问题,如交通拥堵、道路事故和环境污染等。为解决上述问题,高级驾驶辅助系统(Advanced Driver Assistance System,ADAS)应运而生,其中自适应巡航控制(Adaptive Cruise Control,ACC)与协同自适应巡航控制(Cooperative Ad
学位