随着影视、动漫与游戏行业的蓬勃发展,其对高真实感三维场景重建的需求越来越多。而在文物数字化等领域,对于三维模型重建要求更高,从三维重建的逼真度要求上升到了对三维形体准确度及表面色彩保真度的要求。基于多视图立体匹配的三维重建是实现上述需求的一种重要方法,可直接计算得到包含准确色彩纹理的三维模型结果。准确性、鲁棒性以及计算效率是评价基于多视图立体匹配三维重建的重要标准。图像的畸变、随机噪声、重复纹理以及物体间的遮挡等因素影响了多视图立体匹配算法的鲁棒性和重建结果的准确性。本文主要从提升算法鲁棒性和重建结果的准确性两个方面来深入研究面向复杂场景的三维重建方法：一方面,研究高质量的深度图计算以及融合算法,通过对影响深度计算准确性的一些因素进行建模,提高计算结果的准确性。另一方面,研究基于连续优化的深度计算方法,利用连续优化计算鲁棒性高的特点,来提高三维重建算法的鲁棒性。具体地,本文研究图像的径向畸变矫正、基于非凸连续优化的深度计算、基于凸连续优化的深度计算以及基于连续深度图融合的多视图立体匹配。主要工作与创新包括：●提出了一种基于矩阵QR分解的图像径向畸变矫正算法,解决了现有三维重建管线中畸变参数计算不够鲁棒的问题,提升了多视图三维重建算法的鲁棒性和重建结果的准确性。通过将畸变参数计算转化成矩阵分解问题,简化了参数的计算过程。●提出了一种基于对称连续优化的深度图计算方法,使能量泛函的解更趋于全局最优解,有效的提高了深度图的质量。通过将立体匹配问题转化成连续马尔科夫随机域的形式,建立了基于对称连续优化的深度计算模型。在模型的数据项中,引入颜色一致性约束和梯度一致性约束,提高了算法的准确性。设计了基于多层图像金字塔的迭代计算框架,有效地提高了计算出的深度图的质量。在匹配泛函模型的设计中,还引入了左右一致性约束,进一步提升了深度计算结果的准确性。●提出了一种基于凸优化的深度图计算方法,有效地提高了深度计算过程的鲁棒性和计算结果的准确性。针对物体间的相互遮挡等原因导致深度并不是严格连续的问题,提出了分段连续假设条件下的深度图计算方法将深度计算问题转化成自由不连续泛函模型来实现深度的计算,同时在泛函模型中引入了图像分割的先验知识,有效地抑制深度图在图像低频区域的噪声。通过利用将泛函模型松懈成凸泛函的方法,确保了深度图的计算过程不依赖初始值,提升了算法的鲁棒性,提高了深度图的质量。●提出了一种基于连续深度图融合的三维重建方法,提高了重建模型的准确性。通过利用左右一致性信息来控制深度图不同区域的更新速度,提高了深度图的质量。设计了一种利用近邻图像信息和深度信息进行深度图优化的机制,进一步提高了深度图的质量。综合利用左右一致性约束信息、点的法向量信息以及相机的视角信息有效解决了深度融合过程中的去噪问题。