论文部分内容阅读
如何进行高质量的几何重建和高保真的纹理映射是三维重建中的一个重要研究课题。虽然现有的重建算法很容易重建日常生活中的物体和场景,但是这些三维重建算法重建得到的几何模型和纹理映射结果离直接应用到其它领域还有很大的差距,例如VR/AR、数字娱乐、游戏以及3D打印等。由于三维重建算法本身的缺陷以及深度图包含很多噪音和扭曲,不可避免地会造成估算的相机位姿出现偏移,并导致重建的模型出现几何上的扭曲和细节丢失,这些会进一步导致最终的纹理映射结果无法完全对齐,出现模糊和重影。
要通过RGB-D相机得到高质量的三维重建结果必须重建出高质量的几何模型并恢复高保真度的纹理细节。但是由于它们很容易受到以下几个主要因素的影响,从而造成三维重建的结果不尽如人意:(1)深度相机获取的深度数据存在噪音,畸变以及量化误差等,所以用这些数据重建的三维模型不可避免地会出现一些误差和瑕疵。(2)现有的相机追踪算法估算的相机位姿存在累积误差会导致估算的相机位姿产生漂移。(3)现有的三维重建普遍采用符号距离场(Truncated Signed Distance Field,TSDF)来对重建的三维表面数据进行表示,这种策略很容易抹平几何特征,使得重建的几何模型丢失几何细节造成重建的模型出现几何误差。由于几何误差和相机漂移造成纹理图像与模型之间不能够完全对齐,使得三维重建的纹理映射结果不可避免地会出现纹理模糊和鬼影,这将严重影响三维重建模型直接在其它领域的应用。
针对上述基于RGB-D三维重建所面对的问题和挑战,本文从相机位姿精确估计,几何模型精细化重建,以及重建模型纹理和几何优化等视角对三维重建模型和纹理映射的结果进行优化。首先本文提出了一个基于平面约束的深度相机追踪的方法来提高RGB-D相机追踪的精度,从而提高三维重建的质量。接下来,提出了一个从全局到局部非刚性的校正策略对三维重建的纹理映射进行优化,从而得到高保真度的纹理结果。最后,本文提出一个联合优化的方法对相机位姿、几何模型,纹理映射以及不同关键帧之间光照一致性进行联合优化,最终得到高质量几何细节和高保真度纹理的重建模型。具体地,本文主要研究内容及贡献概述如下:
(1)提出了一个新的基于平面的RGB-D相机追踪和三维重建算法。不同于现有的平面追踪算法利用比较平面特征来寻找前后帧之间平面的匹配,本文通过降维的方式把平面匹配转化为点云匹配来建立平面之间的对应关系,通过考虑平面之间的整体结构可以有效地提高平面匹配精度。然后本文提出了一个基于局部的帧到帧(Frame-to-Frame)平面一致性约束,以及一个基于全局的帧到模型(frame-to-model)平面一致性约束来提高相机追踪的精度,并有效地提高重建模型的质量。通过实验结果的定性和定量分析,本文的方法在相机追踪精度和三维重建结果上都有很大的提升。
(2)提出了一个从全局到局部的非刚性的校正策略来对三维重建纹理映射的结果进行优化。首先,我们为模型上的每个面选择一个最优的RGB图像作为纹理来减少由加权平均带来的纹理模糊和重影。然后利用非刚性的校正策略对每个纹理块的相机位姿进行优化来保证所有的纹理块之间的纹理尽可能的对齐。最后,对纹理块边界上顶点的纹理坐标进行优化来保证所有的纹理块之间的纹理能够尽可能的完全缝合。实验结果表明本文的方法可以恢复高质量的纹理,并有效的消除纹理的模糊和重影以及纹理之间的缝隙等瑕疵。
(3)提出了一个针对RGB-D相机位姿、重建模型的几何和纹理,以及关键帧之间颜色一致性的联合优化算法。首先,本文利用颜色一致性和几何一致性对相机位姿进行优化。然后引入了一个High-Boost滤波器对重建的三维模型中的高频几何细节进行增强,同时利用颜色一致性和几何一致性进行引导保证几何细节增强后模型上所有顶点的准确性和合理性。在优化的过程中,同时对不同视口之间光照变化导致的图像之间的颜色不一致进行校正。实验结果表明本文的方法不但能得到高质量的几何模型,还可以恢复重建模型高保真度的纹理信息。
本文的三个研究内容围绕基于RGB-D相机高保真度三维重建这一主题,层层深入步步推进,逐渐解决三维重建中的几个核心问题,形成一个完整的体系。在大量实验和数据集上证明了本文算法的有效性。本文的算法可以应用于现有的三维重建算法上,并提高重建模型的几何和纹理的质量。本文的算法还可以有效地应用于遗产保护,数字娱乐、3D打印和CAD制造等领域。
要通过RGB-D相机得到高质量的三维重建结果必须重建出高质量的几何模型并恢复高保真度的纹理细节。但是由于它们很容易受到以下几个主要因素的影响,从而造成三维重建的结果不尽如人意:(1)深度相机获取的深度数据存在噪音,畸变以及量化误差等,所以用这些数据重建的三维模型不可避免地会出现一些误差和瑕疵。(2)现有的相机追踪算法估算的相机位姿存在累积误差会导致估算的相机位姿产生漂移。(3)现有的三维重建普遍采用符号距离场(Truncated Signed Distance Field,TSDF)来对重建的三维表面数据进行表示,这种策略很容易抹平几何特征,使得重建的几何模型丢失几何细节造成重建的模型出现几何误差。由于几何误差和相机漂移造成纹理图像与模型之间不能够完全对齐,使得三维重建的纹理映射结果不可避免地会出现纹理模糊和鬼影,这将严重影响三维重建模型直接在其它领域的应用。
针对上述基于RGB-D三维重建所面对的问题和挑战,本文从相机位姿精确估计,几何模型精细化重建,以及重建模型纹理和几何优化等视角对三维重建模型和纹理映射的结果进行优化。首先本文提出了一个基于平面约束的深度相机追踪的方法来提高RGB-D相机追踪的精度,从而提高三维重建的质量。接下来,提出了一个从全局到局部非刚性的校正策略对三维重建的纹理映射进行优化,从而得到高保真度的纹理结果。最后,本文提出一个联合优化的方法对相机位姿、几何模型,纹理映射以及不同关键帧之间光照一致性进行联合优化,最终得到高质量几何细节和高保真度纹理的重建模型。具体地,本文主要研究内容及贡献概述如下:
(1)提出了一个新的基于平面的RGB-D相机追踪和三维重建算法。不同于现有的平面追踪算法利用比较平面特征来寻找前后帧之间平面的匹配,本文通过降维的方式把平面匹配转化为点云匹配来建立平面之间的对应关系,通过考虑平面之间的整体结构可以有效地提高平面匹配精度。然后本文提出了一个基于局部的帧到帧(Frame-to-Frame)平面一致性约束,以及一个基于全局的帧到模型(frame-to-model)平面一致性约束来提高相机追踪的精度,并有效地提高重建模型的质量。通过实验结果的定性和定量分析,本文的方法在相机追踪精度和三维重建结果上都有很大的提升。
(2)提出了一个从全局到局部的非刚性的校正策略来对三维重建纹理映射的结果进行优化。首先,我们为模型上的每个面选择一个最优的RGB图像作为纹理来减少由加权平均带来的纹理模糊和重影。然后利用非刚性的校正策略对每个纹理块的相机位姿进行优化来保证所有的纹理块之间的纹理尽可能的对齐。最后,对纹理块边界上顶点的纹理坐标进行优化来保证所有的纹理块之间的纹理能够尽可能的完全缝合。实验结果表明本文的方法可以恢复高质量的纹理,并有效的消除纹理的模糊和重影以及纹理之间的缝隙等瑕疵。
(3)提出了一个针对RGB-D相机位姿、重建模型的几何和纹理,以及关键帧之间颜色一致性的联合优化算法。首先,本文利用颜色一致性和几何一致性对相机位姿进行优化。然后引入了一个High-Boost滤波器对重建的三维模型中的高频几何细节进行增强,同时利用颜色一致性和几何一致性进行引导保证几何细节增强后模型上所有顶点的准确性和合理性。在优化的过程中,同时对不同视口之间光照变化导致的图像之间的颜色不一致进行校正。实验结果表明本文的方法不但能得到高质量的几何模型,还可以恢复重建模型高保真度的纹理信息。
本文的三个研究内容围绕基于RGB-D相机高保真度三维重建这一主题,层层深入步步推进,逐渐解决三维重建中的几个核心问题,形成一个完整的体系。在大量实验和数据集上证明了本文算法的有效性。本文的算法可以应用于现有的三维重建算法上,并提高重建模型的几何和纹理的质量。本文的算法还可以有效地应用于遗产保护,数字娱乐、3D打印和CAD制造等领域。