随着科技的发展,自动驾驶技术离人们的生活越来越近,而场景理解作为其研究中的重要一环,也受到广泛关注。基于二维图像的场景语义理解已经相对比较成熟,在目标检测和语义分割等任务中都有较好效果。然而图像仅仅是真实世界在二维平面上的投影,缺少必要的空间结构信息,因此基于点云的三维语义理解成为新一轮研究热点。但如何获得大量带有精确标注的点云是基于深度学习的三维语义理解研究中的一个重要问题。此外,多种模态数据的融合使用在深度学习的研究中也在逐步发展。本文的主要研究内容是基于视觉与Li DAR两种传感器得到的数据,通过跨模态师生网络来实现三维语义理解,并且提出了视觉辅助的激光点云标注方法。对于三维语义理解工作,本文从数据标注与网络模型两个方面进行深入研究与创新。本文的主要贡献包括以下三个方面:1.提出视觉辅助的点云初步标注方法,旨在解决大量点云数据标注难的问题,实现点云的便捷标注。2.提出二维到三维的点云标签校正方法,修正部分边界错误情况,使得点云标注在三维空间内更加准确。3.提出视觉与点云结合的师生网络进行三维语义理解,通过教师网络、学生网络和跨模态监督三个模块综合图像与点云各自的优势。综上所述,本文在三维语义理解研究方向进行深入研究,分别从点云数据标注与多模态网络学习方面进行创新,实现了结合多种模态数据的三维语义理解。