近年来,三维场景重建的研究越来越得到重视,使得三维数字地图等技术获得了蓬勃发展。三维场景重建是当今计算机视觉研究中备受关注的研究方向。随着深度相机的普及,基于深度数据的三维场景重建已经取得了非常大的进展,可以定位在一个场景中的位置,最终获得一个完整的三维模型。伴随着深度学习的快速迭代发展,基于卷积神经网络的图像语义分割也收效显著。图像语义分割可以对图像进行像素级的分割,所以将其应用于基于深度数据的三维场景重建中,可以获得带有简单语义分割的三维模型。本文将基于卷积神经网络的图像语义分割应用于基于深度数据的三维场景重建中,对相关关键技术进行了深入的研究。在基于深度数据的三维重建模块中,提出了基于稀疏特征匹配和稠密光度匹配的位姿优化策略,在几何优化和光度一致性优化的基础上,融合稀疏特征优化项,并在标准数据集上进行实验,验证了优化后的效果。在基于卷积神经网络的图像语义分割后端处理模块中,优化了条件随机场二元势函数,大量的实验证明分割效果得到改善。基于上述技术本文提出基于深度数据和图像语义分割的三维场景重建方案。通过深度数据获取三维模型,通过图像语义分割获取图像像素级语义分割,并通过基于贝叶斯的渐进式标签迁移策略,把预测的语义分类标签迁移到重建的三维模型中,最终生成带有简单语义分割的三维模型。为了获得带有简单的语义分割的三维模型,本文采用了结合图像语义分割和深度数据的三维场景重建方案,但是还有很多不足,仍然需要继续改善,本文最后也对后续的完善和拓展工作进行了展望。