舞蹈是一门关于人体运动的艺术。它以专业的动作为主要表现手段,关注人难以用语言或其他艺术形式表达的内心精神世界。一般来说,它具有情感细腻、思想深邃、关系清晰、动作标准、有组织且优美等特点。作为一个舞蹈编导,能够掌握舞蹈特征,并具备编舞能力是一项很难的技能,因为它需要大量的学习时间,深厚的专业知识背景以及对应的经济基础。深度学习作为计算机视觉领域热门的技术,可以有效地对相关问题进行建模学习。因此,如何利用深度学习的方法,通过舞蹈动作的内在联系来实现舞蹈的自动生成就显得非常有意义。基于以上考虑,本文根据舞蹈动作的分析与生成,将任务分成了两部分。一部分研究基于视听多模态的音乐舞蹈框架,主要是通过音乐生成对应的舞蹈片段。本部分通过构建视觉信息与音频信息的对应关系,探索多模态舞蹈生成网络。具体来说,提出了一个通过融合视觉和音频特征来预测未来帧的2D预测模块,提出了一个能实现从二维骨架转化为三维的3D转换模块。此外,本部分也提出了一些新的舞蹈生成评价指标来评价生成结果。实验结果表明,所提出的音乐舞蹈框架能够满足舞蹈真实性和多样性的要求。另一部分则是考虑到如何控制舞蹈生成的方向。一般的任务是通过给定的起始帧来预测下一个舞蹈序列,或者通过音频信息将音乐转换为对应的舞蹈动作。但是,这些任务不能控制舞蹈产生的方向,也缺乏合适的对照来评价产生的结果。本部分通过给定起始帧和结束帧,探索了一种基于多通道的舞蹈趋向框架。根据首尾帧的提示,可以有一个具体的生成方向,从而在标准化的要求下完成舞蹈生成任务。实验结果表明,通过一个权重共享的多通道卷积神经网络,可以很好地完成这项新的任务。此外,整个任务也会在有对照的基础下,对实验结果进行评价。