人体运动建模与合成涉及两个概念,建模与合成,运动建模是从环境中感知人体运动;运动合成是计算机合成逼真的人体运动;二者相辅相成,在教育、医疗、安防、娱乐等方面都有重要作用,是计算机视觉与图形学前沿研究热点,主要面临两大挑战:一是建模准确、稳定的人体运动信息,二是合成逼真、可控的运动。本文围绕人体运动,针对三类问题:一是运动建模中的姿态估计,二是运动合成中的舞蹈合成,三是运动合成中的运动重定向,提出了三种新颖的方法,主要工作和创新点如下:1.针对二维图像中的人体姿态估计问题,提出多尺度自适应结构网络来预测人体姿态。已有方法都是直接回归固定核尺寸的人体关键点热图,没有考虑人体尺度与结构信息。本文提出自适应热图来自适应表征不同人体尺度的关键点信息,并采用肢体域来表征人体结构信息。为解决复杂姿态与遮挡等情况下难以回归准确关键点的问题,本文提出多尺度自适应结构网络。该网络首先在多个尺度上学习人体结构信息,然后再学习关键点信息。这种方法有效利用了人体结构来引导获得准确的关键点。与已有方法相比,该方法在两个公开数据集上都获得更好的性能。2.针对三维人体运动中的舞蹈运动,提出时序卷积自回归模型来合成舞蹈运动。舞蹈合成的主要难点在于舞蹈的逼真性、多样性与可控性。由于舞蹈运动的空间-时序复杂度较高,已有方法都难以合成逼真、可控的舞蹈。为解决此问题,模型需要具备较强的建模能力与鲁棒性。因此采用了空洞卷积来提升感受野,并引入门控单元与可分离卷积来提升模型复杂度。而且还将模型输出建模为概率分布,从而进一步提升模型鲁棒性。实验首先在简单运动上验证了模型的建模能力与鲁棒性,实现了逼真、可控的运动合成。而后,自回归模型将音乐风格、节奏与旋律作为控制信号来合成舞蹈。与已有方法相比,该方法可以合成更加逼真、多样、可控（与音乐风格、节奏、旋律保持一致）的舞蹈运动。此外,还改进了自回归模型,提出一种显式可控信号,实现更为多样、可控的舞蹈合成。3.针对不同骨架之间的运动重定向问题,提出基于循环神经网络的解决方案。运动重定向的目标是将原角色的运动迁移到目标角色上,并保持运动内容一致。其难点在于两个角色的骨架差异较大且运动较为复杂时,重定向后的结果会存在运动不逼真或异常姿态。本文设计运动增量模型来预测不同目标角色的运动增量。与已有方法中直接预测目标角色运动的方式相比,该方法缩小了模型的特征搜索空间,提升了模型鲁棒性。实验证明,该方法相比已有方法可以合成更加逼真的目标角色运动,具有更好的性能表现。