基于视频的人体运动分析是计算机视觉和图形学领域的一个重要的研究方向,从不使用反光标记点的图像和视频中恢复人体三维运动的技术则是其中一个活跃而重要的研究课题,其对于三维计算机动画、运动捕获、自然人机交互、智能视频监控等很多方面都有非常直接的应用。本文围绕基于视频的人体运动三维恢复这一课题进行了如下的一系列研究:提出一种基于非参数化运动估计和图像配准的方法来进行相机运动条件下的前景提取,所提取的前景人体轮廓用于后续的人体运动三维恢复。对训练背景图像进行非参数化运动估计,并利用流形学习对训练背景图像进行建模。之后,通过在背景流形上进行运动插值来快速的估计新视频帧和训练背景图像之间的运动,再动态构造出一幅和视频帧的视角完全相同的背景图像.最后通过背景减除提取人物(前景)轮廓。该方法可以有效的在相机平移、旋转、抖动、缩放等运动和复合运动下的视频中提取人物(前景)轮廓。提出一种新的自适应轮廓特征提取方法,对视频中提取出的人物轮廓进行特征表达。作为一种二维形状,有多种形状特征可以用于轮廓表达。为此,首先考察了多种广泛使用的轮廓特征在三维姿态重建中的效果,得到若干重要的比较性结论。之后,提出自适应轮廓特征提取方法,通过不断的特征渐近组合和选取,从传统的特征中生成最优的特征组合。和原有的轮廓特征相比,新特征具有自适应的能力,即:能够根据当前的问题所涉及的具体数据合理地选择最优的特征:同时,新特征具有很低的维度,有利于减小后续步骤的计算复杂度。提出了一种生成式(generative)人体三维运动恢复方法。首先对人体轮廓进行分析,获取躯干和末端节点位置信息;然后采用最优化方法搜索最佳三维姿态。根据人体骨架特点,提出一个有效且计算简单的目标函数以及一种迭代优化策略,极大地减少了计算量;设计了一个新颖的姿态序列恢复流程,克服了误差累积等传统跟踪方法的缺点。提出一种新的三维姿态距离度量函数——关系几何距离。三维人体姿态的距离度量,可以直接用来定量评价一个三维运动恢复算法的准确度。为了使三维姿态距离度量更好的符合人们的感知,首先,定义了人体三维姿态上的一个关系几何特征库,这些特征表征了身体各个部位之间的相互关系。之后,利用自举(Adaboost)算法,从关系特征库中选取最相关的特征。最后,三维姿态之间的距离,就表示为特征之间的加权距离。和其他传统姿态距离相比,该距离能够更好的模拟人对于姿态相似度的认知。提出一个区分式(discriminative)人体三维运动恢复方法,并实现了一个实际的系统。首先,通过已知的姿态.轮廓样例构造先验数据库。之后,对视频中提取出的轮廓,首先采用七近邻方法对每帧找出候选姿态集合。最后,利用动态规划算法,在各帧的候选姿态集合中寻找最优的姿态路径,恢复出连续的姿态序列。该方法可以在全自动的条件下实时的恢复视频中的三维人体运动。