真实场景的三维重建已经成为计算机视觉和计算机图形学研究的焦点之一，在文物保护、虚拟现实、城市规划以及电影娱乐等领域有着越来越广泛的应用。　　 激光扫描建模技术可以高效获取真实场景的三维数据，几何精度高，能够满足存档、测量等要求。但是，仪器笨重、难以处理遮挡以及深色或透明表面、大量数据冗余等缺陷限制了其大规模的应用。而基于图像的三维重建技术具有费用低、速度快的优势而被广泛采用，立体匹配方法是当中最重要的技术之一。然而，如何找出图像间正确的对应关系，是研究多年仍未解决的根本难题。基于上述原因，本文立足于寻找有效结合2D图像和3D扫描数据这两种不同来源的数据信息的方式，使其发挥自身优势，提供不同角度不同层面的几何重建线索。本文的基本想法是在基于图的立体匹配方法当中加入来自于扫描数据的信息，消除手工干预，实现几何信息估计过程的自动化。此外，考虑到扫描仪价格昂贵且使用不便，因此还需尽量避免扫描数据的频繁采集。　　 主要贡献如下：　　 1.针对可近似表示为一系列平面片的场景，提出一种利用立体图像对恢复扫描数据缺失信息的混合重建算法。用部分扫描数据来抽取图像对的平面视差层集合，以立体匹配方法找出各个平面片在空间中的延伸范围。此方法只需采集到每个平面的一部分扫描数据，再结合立体图像对就能完成重建任务，并且同时保证重建的准确性和完整性。　　 2.提出一种融合单目图像深度线索的立体匹配方法。将扫描仪的使用限制在离线的训练数据库获取阶段，并在此数据库上训练从单幅图像中估计深度的马尔科夫随机场模型。然后建立双层的图结构将此依赖于具体图像内容和先验知识的单目线索和基于投影差异的立体线索置于同一优化框架下。　　 3.提出一种采用自适应平滑约束的立体匹配方法。对所建立的实例库进行分析统计，得到给定2D局部结构时其对应于三维连续表面的条件概率。有了该条件概率值，就可以由局部图像的具体内容来确定自适应的平滑项权值，并将其添加到经典的基于图割的立体匹配方法中。　　 4.提出一种基于单幅图像进行几何非连续性判断的全局优化方法。将其作为一个监督学习问题，选取合适的图像特征向量，利用上述实例库训练联合高斯马尔科夫随机场，使得几何非连续性判断过程能够有效结合图像的上下文信息来进行全局推理。