根据图像进行三维重建是计算机视觉领域热门的研究课题,被广泛运用于自动驾驶,机器人导航,虚拟现实,增强现实等应用之中。传统的三维重建方法通常依赖于特定的硬件设备或者多视角图像,这在实际运用中是容易受限的。同时,传统的三维重建方法多用点云表示重构的三维模型,这在数据存储和处理上是不方便的。而在实际的应用场景中,我们周围的环境通常具有明显的平面结构,比如地面,建筑物表面等等。因此,用平面结构来解析三维场景是一个更好的选择,既可以节省数据的存储空间,也方便于计算机对三维模型的处理。为了解决上述问题,我们探索了根据单张图像进行平面三维重建的方法。该任务要求输入单张RGB图像,然后用平面结构来解析三维场景。然而,相机成像是一个投影过程,损失了深度信息。因此根据单张图像进行三维重建是个不适定问题,需要添加大量的先验知识约束解空间。近年来,随着深度学习技术的巨大进步,在众多计算机视觉任务上都取得了成功。深度神经网络具有强大的拟合能力,能自动从数据中学习先验知识。因此,非常适合单幅图像平面三维重建任务。本文我们从实际应用场景出发,将重建的场景分为室外场景和室内场景。由于室外场景存在范围广,真实的平面三维信息标注难以获得的问题,使得目前大多基于监督学习的方法不在适用。在本文,我们尝试采用无监督的方法解决该问题。我们首先利用卷积神经网络预测场景的深度信息。为了解决深度信息标注缺失的问题,我们采用自监督学习的方式,通过优化不同视角下图像的重构损失,间接的训练网络。然后,我们通过无监督的平面拟合方法提取场景的平面结构。在这个过程中,我们也引入语义信息辅助平面三维重建。实验结果表明,我们的方法能在缺少三维信息标注的室外场景下,完成平面三维重建。而对于室内场景,我们则聚焦于房间主体结构的平面三维重建,需要根据单张图像重构出封闭的三维房间布局。大多先前的房间布局重建方法依赖于立方体假设。在本文,我们考虑了一个更加通用的房间布局假设,即房间由一个天花板,一个地面和若干竖着的墙面组成。基于此假设,我们首先运用卷积神经网络检测平面和相邻墙面之间的竖线,同时,我们也估计每个平面的3D参数。然后采用几何推理的方法实现了房间布局重建。除此之外,我们还通过优化平面参数使检测的平面与交线在几何上保持一致,提升了重构效果。实验结果表明我们的重建方法能处理多种复杂的房间布局结构,展示了我们方法的有效性和高效性。