随着RGB-D传感器的普及与推广,基于RGB-D传感器的三维重建技术取得到了广泛发展。既具有语义信息又具有实例信息的室内三维重建模型对室内机器人、AR、VR、无人驾驶等具有重要意义。本文将二维全景分割技术与三维重建技术相结合,提出了一种可重建出既具有语义信息又具有实例信息室内三维模型的三维重建系统。为了获取既具有语义信息又具有实例信息的二维图像分割结果,本文提出了融合深度信息的bottle-up全景分割网络结构DA-Panoptic,可用于实时全景三维重建。首先结合Depth-Aware与Mobile Net V2提出了新的编码器网络DMA-Encoder,利用该编码器对输入的RGB图像和深度图像进行特征提取。然后采用双路ASPP和双路解码器分别实现语义分割与实例分割任务,最后通过多数投票策略将实例分割与语义分割结果融合得到全景分割结果。本文使用Scannet v2数据集对DAPanoptic进行了评估,实验表明,此网络结构在室内环境全景分割中能够取得良好效果。为了获得既具有语义信息又具有实例信息的室内三维重建模型,本文提出了一种基于Surfel模型的室内实时全景三维重建系统。此系统首先使用DA-Panoptic对输入的RGB-D图像进行全景分割,并通过Elastic Fusion系统重建三维几何模型。然后采用帧到模型的方式对图像分割得到的全景标签进行修正,生成全局一致性全景分割标签。最后将全局一致性全景分割标签融合到三维几何模型中得到全景三维模型。为了提高分割的准确性,本文还采用条件随机场对重建的模型进行了修正。本文使用RGBD Scenes v2数据集对此系统进行了评估,实验证明,本系统可实时重建效果良好的全景室内三维模型。