基于深度相机的鲁棒三维重建

来源 :浙江大学 | 被引量 : 0次 | 上传用户:tian1_sheng2_wo3_cai
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
三维重建是计算机视觉和计算机图形学的基本问题,在许多领域有广泛的应用。基于图像的三维重建技术恢复的三维信息精度低,而高分辨率的激光或结构光扫描技术设备昂贵且操作复杂,很大程度上限制了传统三维重建技术的研究和应用,以及在普通用户中推广。由于深度信息精确度较高、价格便宜、操作简单等特性(比如微软Kinect),深度相机的发展和普及给三维重建开辟了一条新的路径,三维模型也将会在日常生活中有更大更广的应用前景。因此,基于深度相机的三维重建技术研究具有很重要的研究和应用价值。  基于上述研究背景,本学位论文主要研究如何利用深度相机重建出物体的三维模型,包括动态人脸、静态场景和动态人体的重建,有效解决了相关技术中面临的很多问题,促进了深度相机在三维重建中的使用以及三维重建技术的发展。总体而言,本文主要贡献如下:  提出了一个基于RGBD图像的三维人脸重建算法,RGBD图像由一个深度相机获取。我们面临的挑战有:1)在低分辨率的深度图中有大量的随机噪音和腐蚀;2)人脸姿势和表情的变化很大。本文提出了一个新颖的二阶段算法,有效地将低质量的深度图转换成真实的人脸模型。每一个阶段针对不同类型的噪音去噪。第一阶段通过基于数据驱动的局部稀疏编码从深度块中提取稀疏误差,而第二阶段采用所提的基于模板的表面优化对块边界上的噪音进行光滑,整合所有局部块,重建出整个人脸形状。所提方法不需要任何的标记或用户交互。即使输入的数据质量很低,在人脸姿势和表情上有很大的变化,本文提出的方法能够生成高精度且高分辨率的三维人脸模型。  提出了基于单个RGB-D相机的三维重建方法。相比以前的方法,本文所提的建模系统能有效处理具有很大重复纹理和大量深度丢失的情况。为了实现鲁棒的对齐,本文提出使用视觉和几何特征并结合SfM技术,加强了特征匹配和相机姿态估计的鲁棒性。另外,提出了一个基于先验的多个候选对应点 RANSAC,有效地估计模型参数,在多个候选对应点下大大加速了相机姿态估计。即使有严重的深度丢失,所提方法依然能成功地对齐所有帧。所提方法鲁棒地检测和处理了闭合环,消除了漂移问题。通过合并多视图立体技术和网格变形技术,补全了丢失的几何。本文提出的方法能有效处理各种具有很大挑战性的例子。  提出了一个基于两个RGB-D相机的动态人体建模方法。对噪音极大、人体形状和姿势变化很大的输入数据,本文提出的重建系统能够重建一个运动随时间变化的三维人体模型序列。为了准确对齐模板模型和噪音输入数据,结合基于骨架驱动的变形技术和网格变形技术,强化了对深度丢失和遮挡的对齐鲁棒性。另外,提出了一个新的基于数据驱动的三维人体模型,该人体模型只利用一个样本数量少、标准站立姿势的人体训练数据库,能有效重建出形状和姿势变化很大的人体模型。
其他文献
阻碍互联网资源在世界范围内广泛共享的一个主要障碍是多语言问题。目前互联网上大多数的信息都以英文形式存在的,随着中文网络用户的不断增多,迫切需要一种能够帮助中文用户查
随着互联网的发展和普及,信息量正以指数规律飞速地增长。对于普通用户来说,Internet上的“信息迷航”和“信息过载”现象已经成为日益严重的问题。而文本摘要技术正是解决这一
计算机视觉通过对图像的理解来模拟人类视觉,具有应用广泛、发展前沿等特性。大数据时代,图像资源急剧膨胀,给人们工作生活带来了便利,但是从繁杂多变的图像资源中寻找有价值的图
移动数据库系统本质上是移动的、异构的、多数据库系统。移动计算环境具有一些新的特性:移动性、网络断接的频繁性、网络条件多样性、网络通信带宽和费用的非对称性:此外移动计
Ontology(本体)作为一种表达领域知识的手段,正在计算机科学的各个研究领域中受到越来越多的重视,并在许多领域得到广泛的应用。从自然语言处理的角度来看,构造领域Ontology的关
随着计算机的普及以及信息化办公的需要,将传统纸质媒介保存的图纸内容用计算机进行存储,已经是必不可少的操作。图纸扫描生成的计算机图像都是位图格式的,但是对于诸如地质
随着VoIP的普及,对VoIP监测的需求愈加迫切,目前一般的网络测量工具不能满足VoIP监测的需要。同时主动式测量的局限性也越来越明显,对于运营商和大中型企业来说,更需要一种被动式
音频作为多媒体信息的一个重要组成部分,承载着很多资讯。随着多媒体技术的发展,音频资料的数据量不断膨胀。为了有效地利用这些信息,不仅需要合理的数据库系统来组织如此庞大的
随着计算机技术的迅速发展和硬件水平的快速提升,尤其是近年来高性能计算机和并行技术的发展,可视化技术作为科学研究和工程技术应用的一个手段变得日益重要。“高性能计算机及
近年来,高速铁路在我国发展迅猛,高速铁路运营里程和投用高速列车规模均跃居世界首位。与传统的机辆式普速列车相比,高速列车运用具有运行速度高、运行距离长、运营规模大的特点