面向RGB-D相机高保真三维重建与纹理映射研究

来源 :武汉大学 | 被引量 : 0次 | 上传用户:st841004
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
如何进行高质量的几何重建和高保真的纹理映射是三维重建中的一个重要研究课题。虽然现有的重建算法很容易重建日常生活中的物体和场景,但是这些三维重建算法重建得到的几何模型和纹理映射结果离直接应用到其它领域还有很大的差距,例如VR/AR、数字娱乐、游戏以及3D打印等。由于三维重建算法本身的缺陷以及深度图包含很多噪音和扭曲,不可避免地会造成估算的相机位姿出现偏移,并导致重建的模型出现几何上的扭曲和细节丢失,这些会进一步导致最终的纹理映射结果无法完全对齐,出现模糊和重影。
  要通过RGB-D相机得到高质量的三维重建结果必须重建出高质量的几何模型并恢复高保真度的纹理细节。但是由于它们很容易受到以下几个主要因素的影响,从而造成三维重建的结果不尽如人意:(1)深度相机获取的深度数据存在噪音,畸变以及量化误差等,所以用这些数据重建的三维模型不可避免地会出现一些误差和瑕疵。(2)现有的相机追踪算法估算的相机位姿存在累积误差会导致估算的相机位姿产生漂移。(3)现有的三维重建普遍采用符号距离场(Truncated Signed Distance Field,TSDF)来对重建的三维表面数据进行表示,这种策略很容易抹平几何特征,使得重建的几何模型丢失几何细节造成重建的模型出现几何误差。由于几何误差和相机漂移造成纹理图像与模型之间不能够完全对齐,使得三维重建的纹理映射结果不可避免地会出现纹理模糊和鬼影,这将严重影响三维重建模型直接在其它领域的应用。
  针对上述基于RGB-D三维重建所面对的问题和挑战,本文从相机位姿精确估计,几何模型精细化重建,以及重建模型纹理和几何优化等视角对三维重建模型和纹理映射的结果进行优化。首先本文提出了一个基于平面约束的深度相机追踪的方法来提高RGB-D相机追踪的精度,从而提高三维重建的质量。接下来,提出了一个从全局到局部非刚性的校正策略对三维重建的纹理映射进行优化,从而得到高保真度的纹理结果。最后,本文提出一个联合优化的方法对相机位姿、几何模型,纹理映射以及不同关键帧之间光照一致性进行联合优化,最终得到高质量几何细节和高保真度纹理的重建模型。具体地,本文主要研究内容及贡献概述如下:
  (1)提出了一个新的基于平面的RGB-D相机追踪和三维重建算法。不同于现有的平面追踪算法利用比较平面特征来寻找前后帧之间平面的匹配,本文通过降维的方式把平面匹配转化为点云匹配来建立平面之间的对应关系,通过考虑平面之间的整体结构可以有效地提高平面匹配精度。然后本文提出了一个基于局部的帧到帧(Frame-to-Frame)平面一致性约束,以及一个基于全局的帧到模型(frame-to-model)平面一致性约束来提高相机追踪的精度,并有效地提高重建模型的质量。通过实验结果的定性和定量分析,本文的方法在相机追踪精度和三维重建结果上都有很大的提升。
  (2)提出了一个从全局到局部的非刚性的校正策略来对三维重建纹理映射的结果进行优化。首先,我们为模型上的每个面选择一个最优的RGB图像作为纹理来减少由加权平均带来的纹理模糊和重影。然后利用非刚性的校正策略对每个纹理块的相机位姿进行优化来保证所有的纹理块之间的纹理尽可能的对齐。最后,对纹理块边界上顶点的纹理坐标进行优化来保证所有的纹理块之间的纹理能够尽可能的完全缝合。实验结果表明本文的方法可以恢复高质量的纹理,并有效的消除纹理的模糊和重影以及纹理之间的缝隙等瑕疵。
  (3)提出了一个针对RGB-D相机位姿、重建模型的几何和纹理,以及关键帧之间颜色一致性的联合优化算法。首先,本文利用颜色一致性和几何一致性对相机位姿进行优化。然后引入了一个High-Boost滤波器对重建的三维模型中的高频几何细节进行增强,同时利用颜色一致性和几何一致性进行引导保证几何细节增强后模型上所有顶点的准确性和合理性。在优化的过程中,同时对不同视口之间光照变化导致的图像之间的颜色不一致进行校正。实验结果表明本文的方法不但能得到高质量的几何模型,还可以恢复重建模型高保真度的纹理信息。
  本文的三个研究内容围绕基于RGB-D相机高保真度三维重建这一主题,层层深入步步推进,逐渐解决三维重建中的几个核心问题,形成一个完整的体系。在大量实验和数据集上证明了本文算法的有效性。本文的算法可以应用于现有的三维重建算法上,并提高重建模型的几何和纹理的质量。本文的算法还可以有效地应用于遗产保护,数字娱乐、3D打印和CAD制造等领域。
其他文献
在通信对抗和电子侦察领域,低频辐射源的识别是一个重要的研究课题。即使已知辐射源型号以及发射信号类型,也很难实现信号的完全复制。这是因为构成辐射源的各类元器件之间不可避免地存在着差异。本文研究了低频辐射源的特征提取及分类识别方法,对这一领域进行了有益探索。主要研究内容如下:首先,寻找一个有效的信号处理方法,只有在找到可靠信号处理方法的基础上才能提取到稳定并且具有区分度和辨识度的特征。本文主要研究了局
学位
高频海洋雷达利用垂直极化的电磁波能够沿导电海洋表面绕射的传播特点,可以全天候、超视距、实时地探测大面积海域的表面动力学参数,使其在“全国海洋观测网络”中占据重要地位。由于高频段电磁波波长与低空飞机、舰船、冰山等硬目标尺寸相当,高频海洋雷达在目标探测领域也得到了广泛研究与应用。  天线系统是高频海洋雷达间最具差异的部分。现有高频海洋雷达主要依据接收天线形式的不同分为阵列式和紧凑型两类。阵列式雷达采用
纺织物的表面瑕疵检测是纺织业质量控制中的一个关键环节。传统的人工检测织物疵点的工作方式由于其检测效率低、工人劳动强度大、检测成本高等缺点已经不适合大规模生产以及消费者对产品质量越来越高的要求。基于模式识别、人工智能以及计算机视觉的织物疵点自动化检测技术和方法由于其检测精度高、检测效率高,成本低而替代传统的人工检测是大势所趋。现有织物疵点自动化检测技术各自有不同的优势和局限,学界对该领域新技术的研究
随着国防科技的发展和现代电磁工程应用需求的日益提升,各领域对电磁仿真精度的要求越来越高、对电大目标和复杂结构的仿真需求越来越大,使得电磁场精确模拟面临一个共性问题:计算资源需求越来越高、仿真时间越来越长。这一共性问题给计算电磁学带来了严峻的挑战。尤其是电尺寸的持续增加,使得电磁场精确模拟所需的计算资源呈指数上升。与此同时,国内高性能计算技术的飞速发展和国产超级计算机的迅速崛起为电磁仿真提供了硬件保
学位
TiO2作为一种极具前景的介质材料被应用到薄膜技术中来,引起了国内外研究者的极大兴趣。作为光学膜,TiO2薄膜在可见光区透射率高,折射率大,化学稳定性高、强度大、硬度高,是非常重要的光学膜,己被广泛地应用于抗反射涂层、干涉滤波片、电致变色窗和薄膜光波导。作为电学膜,TiO2薄膜的绝缘性能好,可作为大规模集成电路的保护层。TiO2的介电常数很高,可用于半导体器件MEMS、MOS等的栅介质。随着薄膜科
正交频分复用(OFDM)技术能有效克服无线信道多径衰落的影响,非常适合于下一代高质量、高速率的无线多媒体通信。而采用多发射多接收(MIMO)技术的OFDM系统由于更高的频谱效率受到广泛关注。但是OFDM的实际应用需要谨慎考虑信道估计等重要问题。本论文重点研究了单发射单接收(SISO)和MIMO-OFDM系统的信道估计算法,提高了信道估计的精度。论文创新性成果如下:首先,提出了基于Walsh变换的最
学位
随着图像传感器技术的发展,多传感器图像融合技术应运而生,并广泛应用于军事侦察、医学诊断、遥感、智能机器人等领域.该文详细研究了多传感器图像融合算法,从彩色显示和灰度显示这两个角度对多传感器融合技术进行了泛分析.该研究工作的选题不仅具有重要的理论研究价值,而且具有广泛的实际应用价值.该文的主要工作可总结为以下几个方面:(1)简单叙述了多传感器图像融合技术的主要研究内容,分析了各种图像融合算法,介绍了
支持向量机是当前机器学习领域的研究热点。本文对支持向量机一些算法进行了研究。全文共分五章,如下:第一章概括了支持向量机的两种数学描述—最大间隔描述和平分最近点描述,列出了支持向量机几种常见和流行算法,并指出了他们存在的问题。第二章研究了针对最大间隔描述的支持向量机流行快速算法──SMO算法。总结了SMO算法的原理,用程序实现了SMO算法。经用典型的双螺线问题对算法进行测试,显示:SMO算法运算效率
学位
环形锻件在火车、工程机械、轴承、船舶、石油化工、发电、航空航天、核工业等工业领域应用十分广泛,在其锻造的动态过程中,径向截面形线以及各尺寸数据的在线测量对控制其尺寸精度、减少废品率有着至关重要的作用。然而,环形锻件在锻造时处于高温及高速旋转的动态过程中,且激光扫描仪的扫描角度受限,故需要进行多次扫描。由于多次扫描造成扫描数据量很大,据此测量得到的径向尺寸精度较低。因此,提高环形锻件径向截面尺寸的在
学位
近年来,在有关软件缺陷预测(Software Defect Prediction, SDP)的研究中,基于跨项目的缺陷预测问题逐渐成为研究的重心。大多数缺陷预测的研究都将该问题作为二分类问题或回归问题进行讨论。事实上,在缺陷预测的现实场景中,开发者在大多数情况下并不需要每一个软件实体的具体预测结果,而是让自动缺陷预测工具找出项目中可能具有高风险的文件,对其进行定位修复即可。  本文借鉴推荐系统中经