伴随着人工智能研究的热潮，作为人工智能发展水平重要标志之一的自动驾驶车辆成为近年来的研究热点。在自动驾驶研究中，通常由感知、规划与控制共同构成了系统的核心组成部分。其中，感知中最重要的场景理解，指的就是通过计算机视觉等手段，实现对车辆周围外部环境的准确高效的解析。随着近年来深度学习相关技术的不断革新与发展，基于深度神经网络的场景理解方法逐渐展现出比传统方法更胜一筹的性能。但在面向场景理解任务的深度神经网络设计中，还存在着很多问题值得深入探索。比如：面向特定子任务，是否有更加有效的底层特征提取的卷积方式？如何有效结合车载激光雷达、彩色图像等异质传感器的数据源信息来设计更加有效的深度神经网络结构？如何合理利用场景理解的不同子任务之间内在的关联，构建联合、统一、性能更优的解决方案？
　　通常，自动驾驶中的场景理解可以分为几何和语义两个方面。其中几何估计主要表现为场景的深度估计。为了适应当下自动驾驶的高精度和高分辨率的需要，几何和语义估计都必须达到致密的像素级。因此，本论文重点关注致密的深度估计与语义分割两个紧密相关的场景理解子任务。本论文以深度学习为基本方法，以神经网络中最基本的卷积方式为着力点和作为两个子任务的连接桥梁，对两者的关联进行了几个方面的有效尝试：在多源数据利用上，融合了激光雷达与彩色图像异质数据，构建了有效的网络结构；在底层卷积方式上，提出边界敏感的卷积方式，有效获取相似语义像素的特征；在多任务联合优化上，充分挖掘不同数据源之间、不同目标任务之间存在的关联性，有效提高方法的准确性。
　　本论文的主要贡献如下：
　　1.提出了一种基于语义先验信息的深度补全方法。面向道路环境下稀疏雷达数据的深度补全问题，该方法论文提出，通过观测深度信息在道路环境之中的分布规律，充分利用图像空间中存在的语义先验信息，分别针对于地面与障碍物体语义区域设计了不同的非对称多尺度卷积结构，以适用于不同语义区域在垂直、水平方向上的深度分布相似性。该方法提出了一种级联的网络结构，将基于图像-激光雷达联合输入的语义分割子网络与基于语义先验的深度补全子网络相结合，有效提升了致密深度估计任务精度。
　　2.提出了一种基于图像轮廓信息指导的语义分割方法。面向道路环境下的语义分割问题，该方法提出，面向不同语义区域，设计特殊卷积方式。该方法提出了一种特殊的轮廓信息敏感的卷积结构，通过对于感受野内不同神经元赋予不同的贡献权重以用于有效融合特征信息。该方法提出的整体网络架构有效融合彩色与深度图像获得更好的轮廓检测结果，作为输入为语义分割网络提供清晰有效的轮廓先验信息。其后，整体全卷积神经网络有效融合了多尺度轮廓信息，结合提出的轮廓信息敏感的卷积结构构建了改进的语义分割网络模型。实验结果表明该方法有效提升了语义分割的精度。
　　3.提出了一种基于轮廓信息敏感的语义分割与深度补全多任务神经网络。有别于前文提出的非对称多尺度卷积结构，该方法提出的联合多任务网络模型中，以轮廓信息衔接两个子任务，同时轮廓又作为深度补全与语义分割任务的弱监督信息融入卷积结构。该方法整体上提出了一种单编码器-多分支解码器的网络架构，同步为轮廓检测、语义分割与深度补全任务进行预测，同时提出并构建了多任务间的联合优化损失函数，同步优化网络整体性能。实验结果表明，相比单任务，本文的多任务设计框架有效提升了精度。