人体运动分析是计算机视觉领域的一项前沿课题,其研究目标是使计算机能够基于人体结构、人体运动等先验知识,自动地从图像中检测和发现人并重建人体运动,最终达到在语义层上对人体运动行为的感知和理解。研究涉及多个学科领域,在人机交互、安全监控、虚拟现实、医学、体育等方面有广泛的应用。本论文工作主要围绕人体运动视觉分析中的两个重点内容:人体运动三维重建和人体运动的语义识别展开。主要研究成果如下:(1)针对由单目非标定摄像机引发的病态性,以及状态空间高维特性引发的维数灾难,论文提出了进化计算框架内的生成式算法:层级退火遗传算法(HAGA)。算法提供了一般意义下具有分层特性的状态空间的最优解搜索机制。对于具有高维非线性状态空间特性的人体运动重建,首先在运动捕获数据上提取人体运动的分层状态子空间,优化搜索在低维子空间内进行,不仅降低了维数,而且提取了人体运动的先验知识。HAGA结合了模拟退火和遗传算法机制,利用似然度函数对子空间高层维度上的状态变化更为敏感的特性进行分层优化搜索,降低计算复杂度的同时有效提升了姿态估计的精度。(2)在诊断式框架下,论文提出了基于角点的新的特征表示,同时编码了肢体位置、视觉表观和局部结构信息,可捕获局部结构的空间共生和上下文信息,得到的描述子具有光照和位置不变性。论文把诊断式三维人体运动重建中特征、算法、传感器配置纳入一个框架内综合考虑。传感器配置上把单目重建扩展到了多目情形,重建精度得到了有效提升,这是在诊断式框架内融合多目信息的极少尝试之一。论文同时也评估了视觉信息的数量和质量、算法以及多目信息融合对系统性能的影响,可为人体运动重建系统的设计提供重要的指导和参考。(3)针对单目重建中状态后验分布的多模性难点,论文提出了一种新的状态后验分布模型:局部时空高斯过程专家模型。把输入相关的状态空间分割为若干局部区域,每个区域的后验分布由一个局部高斯过程专家主导,模型定义在统一的输入-输出空间内,可更灵活有效地处理双向多模分布。同时构建了时域链上的局部高斯过程专家模型,整合时域和空域专家进行状态后验分布建模。人体运动的动态特性使状态在状态空间内沿特定流形分布,使用时域专家不仅可消除多模性,还能挖掘输出空间内潜在的上下文信息。(4)为从实验角度增加对人体运动视觉重建研究现状的“能见度”,论文对人体运动重建方法现状进行了系统回顾与实验评估。论文对两类重建框架内的代表性方法进行了定量的实验评估和比较。评估采用统一的误差度量和数据库。为进行本次评估,特组织构建了一个人体姿态估计与动作识别的大型数据库。这是目前学界最全面的对两种框架内代表性方法的评估和分析,为发现潜在有价值的研究方向提供了有益的导向和参考。(5)在人体运动识别研究方面,论文提出了基于稀疏编码和局部时空特征的人体动作识别方法。论文通过稀疏编码构建人体运动识别高区分度的码本和特征表达,视觉信号的基本表示单元为时空局部特征向量。由于从图像中很难得到的语义信息往往可以从文字信息中轻松获取,为充分利用文本信息,以辅助识别人体运动,论文提出了静态文本和运动字幕检测的新方法,使用角点这一文字和字符的本质特征提取和设计有效的文本和字幕特征,方法的有效性在多媒体检索国际竞赛中得到了充分验证。