论文部分内容阅读
三维重建是计算机视觉和计算机图形学的基本问题,在许多领域有广泛的应用。基于图像的三维重建技术恢复的三维信息精度低,而高分辨率的激光或结构光扫描技术设备昂贵且操作复杂,很大程度上限制了传统三维重建技术的研究和应用,以及在普通用户中推广。由于深度信息精确度较高、价格便宜、操作简单等特性(比如微软Kinect),深度相机的发展和普及给三维重建开辟了一条新的路径,三维模型也将会在日常生活中有更大更广的应用前景。因此,基于深度相机的三维重建技术研究具有很重要的研究和应用价值。 基于上述研究背景,本学位论文主要研究如何利用深度相机重建出物体的三维模型,包括动态人脸、静态场景和动态人体的重建,有效解决了相关技术中面临的很多问题,促进了深度相机在三维重建中的使用以及三维重建技术的发展。总体而言,本文主要贡献如下: 提出了一个基于RGBD图像的三维人脸重建算法,RGBD图像由一个深度相机获取。我们面临的挑战有:1)在低分辨率的深度图中有大量的随机噪音和腐蚀;2)人脸姿势和表情的变化很大。本文提出了一个新颖的二阶段算法,有效地将低质量的深度图转换成真实的人脸模型。每一个阶段针对不同类型的噪音去噪。第一阶段通过基于数据驱动的局部稀疏编码从深度块中提取稀疏误差,而第二阶段采用所提的基于模板的表面优化对块边界上的噪音进行光滑,整合所有局部块,重建出整个人脸形状。所提方法不需要任何的标记或用户交互。即使输入的数据质量很低,在人脸姿势和表情上有很大的变化,本文提出的方法能够生成高精度且高分辨率的三维人脸模型。 提出了基于单个RGB-D相机的三维重建方法。相比以前的方法,本文所提的建模系统能有效处理具有很大重复纹理和大量深度丢失的情况。为了实现鲁棒的对齐,本文提出使用视觉和几何特征并结合SfM技术,加强了特征匹配和相机姿态估计的鲁棒性。另外,提出了一个基于先验的多个候选对应点 RANSAC,有效地估计模型参数,在多个候选对应点下大大加速了相机姿态估计。即使有严重的深度丢失,所提方法依然能成功地对齐所有帧。所提方法鲁棒地检测和处理了闭合环,消除了漂移问题。通过合并多视图立体技术和网格变形技术,补全了丢失的几何。本文提出的方法能有效处理各种具有很大挑战性的例子。 提出了一个基于两个RGB-D相机的动态人体建模方法。对噪音极大、人体形状和姿势变化很大的输入数据,本文提出的重建系统能够重建一个运动随时间变化的三维人体模型序列。为了准确对齐模板模型和噪音输入数据,结合基于骨架驱动的变形技术和网格变形技术,强化了对深度丢失和遮挡的对齐鲁棒性。另外,提出了一个新的基于数据驱动的三维人体模型,该人体模型只利用一个样本数量少、标准站立姿势的人体训练数据库,能有效重建出形状和姿势变化很大的人体模型。