论文部分内容阅读
非接触式人体运动捕捉一直是计算机视觉领域的热点问题。但经过多年的研究,由于复杂多变的背景、三维空间到二维图像平面投影的多义性、人体遮挡与自遮挡、高维状态空间搜索等问题,非接触式人体运动捕捉仍是一项非常具有挑战性的课题。本文针对目前非接触式人体运动捕捉研究中存在的问题,围绕多视角三维人体运动捕捉这一课题展开深入探讨。重点研究了如何在复杂场景下有效提取人体轮廓,如何去除多视角三维人体运动捕捉中对视频同步的假设,以及如何鲁棒的对人体姿态进行估计,这三个重要问题。致力于尽可能减少现有多视角人体运动捕捉系统在实际应用中的限制,构建一个能够应对复杂背景,具有移动灵活性,并且能够准确获取人体运动数据的人体运动捕捉方案。本文的主要研究工作及贡献包括以下几个方面:1.提出了一种基于双层高斯混合模型(Bilayer Gaussian Mixture Model, BGMM)和马尔可夫随机场(Markov Random Field, MRF)的前景分割方法,即BGMM-MRF。它不仅能够处理动态场景中的重复性扰动因素,而且能够处理场景中缓慢或剧烈的光照变化。与现有只考虑了重复性扰动、缓慢的光照变化,或只针对剧烈光照变化的前景分割方法相比,它能够适应更复杂的场景。此外,通过将BGMM与MRF相结合,它同时利用了像素在时间和空间上的关联,能够有效纠正分割结果中的“伪目标”和“空洞”,确保提供与目标形状一致的分割结果。2.提出了一种基于层次式MRF (Hierachichal-MRF, HMRF)的前景分割方法。针对BGMM-MRF只能对出现过的背景状态快速响应,而对新的背景状态需要时间适应学习的问题,我们提出了一个新的HMRF概率模型。通过HMRF,将BGMM-MRF中对全局背景状态的推断转化为在区域层次上对背景状态的推断,扩展了能够处理的背景状态。在分割过程中,采用软分割的策略,处理背景状态离散性与光照空间变化连续性的问题,提高算法的鲁棒性和精确性。3.针对现有多视角人体运动捕捉需要使用昂贵的硬件同步设备及特殊摄像机完成视频同步的问题,提出了一种基于非同步视频的人体运动捕捉方法。它利用剧烈光照变化对多视频的同步参数进行估计,并提出一种可以处理剧烈光照变化的人体姿态估计方法,基于估计的同步参数获取人体运动数据。从而去除了多视角人体运动捕捉中关于视频同步的假设,免除了对硬件同步设备的需要,在降低系统造价和技术复杂度的同时提高了系统的移动灵活性。4.提出了一种基于颜色约束动态MRF的人体姿态估计方法(Color Constrained Dynamic MRF, CC-DMRF)。它采用一种高效的方式获取带有表面纹理的人体体素重建数据,并通过构建身体部位颜色模型将颜色信息引入姿态优化过程。与现有的三维动态马尔可夫随机场(3D Dynamic Markov Random Field,3D-DMRF)人体姿态估计方法相比,CC-DMRF方法通过引入颜色约束,一定程度上解决了在人体不同部位接触时,体素数据与人体模型匹配中产生的多义性问题,提高了人体姿态估计的鲁棒性。5.构建了一个多视角非接触式人体运动捕捉原型系统,将前面提出的方法集成到统一的平台,通过在非物质文化遗产保护和动画制作两方面的应用,验证了该系统的实用性。