论文部分内容阅读
多视图三维重建技术的目标是从多视角照片中恢复重建物体的三维模型,该技术在遗产保护、地理测绘、城市规划等领域有着广泛的应用。随着拍照设备的快速发展与普及,获取照片变得越来越方便,重建问题的场景规模、照片数量,以及场景复杂度也随之不断提升。在实验室环境拍摄的Middlebury这一经典重建基准数据集上,多视图三维重建技术在精确度和完整度方面已能够接近激光扫描。但随着重建规模的增大,多视图三维重建方法面临着新的挑战,主要有以下几个方面:由于计算复杂度较高,重建算法很难直接进行整体计算,分治策略的应用能避免整体重建突破单机计算能力上限,但现有方法对重建子步骤的划分与融合处理不能保证重建质量;在弱纹理、遮挡等情况下,重建模型存在局部缺陷或缺失问题,其处理方法仍需进一步研究;对于相机参数和三维几何重建结果的量化评估,仍然缺乏相匹配的基准数据集。本文从重建方法和质量评价两个方面对大规模多视图三维重建问题进行研究。具体而言,本文的工作和创新包括:·针对重建流程的全局优化步骤—集束调整,提出了一种基于异步共识(asynchronous consensus)的分布计算方法,利用共识方法可以迭代融合不同子块间的重叠参数,使计算收敛于整体计算的最优解,而异步化则可以有效减少节点等待开销,得到更高的迭代速度,从而加快收敛。与融合方法相对应的,提出了一种基于场景概括(scene summarization)的块划分方法,以对大规模场景进行快速均匀的划分。在BAL数据集和CH数据集上的实验结果证明了该方法的有效性。·提出了一种数据驱动的局部重建修复方法。首先基于参考模型库进行点云补全,补全方法以局部三维描述符为基础,采用级联的方式快速过滤不相关的三维模型,然后通过带平滑形变的对齐实现无缝的形状补全。并且进一步提出利用补全的缺失区域形状信息提高局部重建质量,然后与原模型进行几何和纹理融合。在Model Net40数据集和多个重建数据集上的实验结果证明,我们的方法能快速、可靠的进行局部重建修复。·提出了一种基于仿真建立基准测试数据集的方法,该方法能够获得准确的真实值(ground truth),利用真实场景的三维重建以及实地拍摄的图像提高仿真的真实度。每张仿真图像对应于一张真实图像,通过传递拍摄参数等属性信息使两张图像更加相似,并设计了验证步骤确定属性传递的效果。在此基础上,建立了用于大规模多视图三维重建基准测试的云冈石窟数据集,并对重建流程中的主要步骤进行了量化比较和分析。·提出了分布式计算框架Pickle RPC,该框架主要根据多视图三维重建问题的特点进行设计,通过将指令和数据编码成字节流在节点之间进行传输,实现了高效的远程过程调用,并且在主从式多计算节点的基础上,增加了额外的控制节点,用于图像数据和中间计算结果的备份,以及主节点故障的处理,从而保障顶层的重建算法能够高效、稳定地运行。本文将重建算法、分布式计算框架和局部重建修复方法相结合,构建了一个分布式多视图三维重建原型系统,并重点讨论了重建流程各个子步骤的分布计算方法。