论文部分内容阅读
三维人体建模是虚拟现实与计算机视觉领域的重要研究课题,在电影电视创作、游戏设计、服装设计、临床医学、识别跟踪等方面具有广泛的应用。现有的三维人体建模技术包括采用三维建模软件的交互建模,利用多视角图像或视频的视觉技术建模,以及借助于三维扫描设备的直接建模等方法。这些方法或者需要大量的手工辅助工作,或者依赖于昂贵的仪器设备,或者建模的精度不够理想。近些年,微软Kinect等消费级深度摄像机的出现,为包括人体的三维对象建模提供了一种低成本的途径。目前利用Kinect进行三维对象的建模研究已经取得了一定的成果。但对于复杂的非刚性人体对象,如何利用Kinect采集到的精度不高的RGB-D数据,建立较高精度的三维人体模型,并刻画人体的动态形变,还存在许多问题需要深入研究。本文针对三维人体建模问题,提出了基于RGB-D序列和人体模板匹配的建模方法,重点研究了RGB-D数据的处理、静态人体建模和动态人体建模等内容,解决了人体建模中的点云去噪、刚性配准以及人体非刚性变形等关键问题,实现了三维人体建模的原型系统。本文的主要工作包括以下几方面:1)提出一种RGB-D深度缺失数据的恢复方法。Kinect在采集时由于遮挡或表面材质等原因会造成深度数据的丢失。在进行人体建模前,需要将丢失的深度数据,特别是人体表面的深度缺失数据恢复。为此,本文提出了一种基于彩色信息搜索匹配的深度确实信息的恢复方法,实现了原始深度数据的修复。2)提出一种静态人体建模时人体非刚性扰动的处理方法。在建立静态人体模型时,数据采集过程中虽然要求被采集对象保持一种固定的姿势,但实际上在此过程人体会存在不同程度的微小移动,从而导致实际采集的数据存在噪声和扰动,尤其在手部等肢体末端这种情况更加严重,基于这样的数据建模往往得不到完整闭合的人体模型。针对这一问题,本文提出一种基于人体分段的扰动去除方法,实现了静态人体建模结果的完整闭合。3)提出一种动态三维人体建模方法。Kinect可以实时获取视野内的RGB-D序列数据,并可以通过Kinect SDK提取人体的骨架信息。本文首先利用骨架信息将人体模板匹配到目标人体的关键帧,然后通过进一步的分段点云精细配准获得更准确地模型形变,最终通过分段的融合变形建立人体的动态模型。为了验证本文提出的人体建模方法的有效性,搭建了人体建模的实验平台,并采集了大量的数据进行三维人体建模实验。实验结果表明,本文提出的静态人体建模方法可获得较高精度的人体模型,并且该模型可以用于基于RGB-D序列数据的动态人体建模。