自主定位与地图构建是自动驾驶实现高度智能化的基础功能,同时也是自动驾驶车辆稳定运行的基本保障。不仅在复杂多变的场景中实现准确、长期的自主定位对车辆的精准控制和实时导航十分关键,对道路周边三维地图的建立可以直接帮助车辆理解环境信息并进行路径规划,是各大自动驾驶厂商的核心技术之一。而即时定位与地图构建（SLAM）技术是解决该问题的关键技术手段,并在机器人、虚拟现实等领域都有着广泛应用。尽管在这些年SLAM技术在学术界取得了许多令人瞩目的成果,但在实际应用时仍然存在一系列问题。首先,单一传感器的SLAM系统往往鲁棒性较低,无法适应复杂多变的实际环境。无论是相机还是激光雷达数据都会在某些特定的场景中发生退化,从而导致失效。因此只有融合多种异构传感器数据才能够提升系统的鲁棒性,以适应不同场景。再者,单纯的环境三维地图已经不足以应对自动驾驶车辆越来越高的智能化需求,因此需要研究环境语义地图构建技术,将感知数据进行融合,丰富地图的表示信息。此时如何同时保证地图的几何一致性和语义一致性成为了需要解决的难题。另外,大部分学术工作一般都基于自动驾驶公共数据集进行分析,但实际系统在这个过程中仍有许多工作需要解决,例如传感器同步和标定等等。针对上述问题,本文设计并实现了一个完整的自动驾驶定位与环境感知系统。该系统不仅融合了多源的传感器信息,还融合了多维度的特征信息。除此之外,本文详细探讨了不同方法下的传感器融合技术,尤其是相机与激光雷达的融合,并分别在神经网络和几何方法下给出了解决方案。本文的主要研究内容可以归纳为:根据自动驾驶系统的实际需求和技术指标,本文提出了一套用于自动驾驶车辆的定位和环境感知系统解决方案。完整的解决方案包括传感器硬件平台的选取,关键技术指标的确定,传感器数据的标定和处理以及相关软件算法等模块。系统不仅车辆能够实现精确的自主定位,还需将感知的语义信息表达在三维地图中。与其他基于单一传感器的定位和建图系统不同,本文使用激光雷达、相机和惯性器件三种传感器进行融合定位,克服了单一传感器鲁棒性低的缺点,但同时也带来了更复杂的数据处理难度。针对激光雷达与相机外参标定困难的问题,本文提出了一个端到端的激光雷达-相机在线外参标定网路,能够在不依赖人工标记物的情况下自动完成激光雷达与相机的外参标定工作。针对现有的位姿估计网络泛化能力弱的问题,本方法将传统的基于几何约束的位姿估计方法与神经网络相结合,将非线性优化器嵌入到端到端的网络中进行训练。为了保证神经网络充分的发挥其特征提取的能力,本方法对2D数据和3D数据分别使用对应的特征提取网络,并通过关键点筛选和特征匹配网络实现3D到2D的数据关联。由于在本方法中传统的神经网络部分只负责特征的提取和关联,可以应对环境和传感器参数变化带来的影响。最后通过实验表明本方法具有更强的鲁棒性和泛化能力。针对现有的轻量级三维语义分割网络精度较低的问题,本文提出了一个融合激光雷达和相机数据的实时三维语义分割网络。与上一部分的处理方式不同,本方法采用前融合的方案,通过球面投影方式将激光雷达和图像数据进行统一的表示方式,通过神经网络来学习不同特征通道数据的融合方式。为了进一步提升轻量级网络的语义分割精度,本方法还引入了空间模块来弥补通道裁剪操作造成的空间信息缺失问题。最后通过设计一系列实验,不仅证明了该网络相比原有方法大幅度提升了精度,本文还深入探讨了神经网络处理不同通道数据的能力。针对单一传感器的定位建图方法无法适应复杂多变的实际环境问题,本文设计并实现了一个多元信息融合的自主定位与地图构建方法。该方法不仅将相机、激光雷达和惯性器件的数据进行融合,还充分考虑了环境中存在的不同几何基元特征,利用三维点、线、面产生的不同约束,极大的提升了特征关联的准确性。文章推导了不同传感器的约束构建形式和雅克比矩阵形式,通过构建全局后端因子图,将不同传感器约束进行融合。除此之外,本方法还设计了回环检测和重定位方式以及传感器退化的检测和处理方式,来进一步提升系统的鲁棒性。为了融合高维感知语义特征,本文构建了语义权重因子,将场景语义约束与几何约束相结合,充分保证地图的语义一致性和几何一致性。最后,本文针对上述自动驾驶定位与环境感知系统进行了充分的实验验证和详细分析,并与其他两种具有影响力的定位建图方法进行对比。通过公共数据集的测试,证明本系统在精度上相比单一传感器的方法具有很大优势。通过实际自动驾驶车辆在校园环境中的一系列测试,证明本系统在精度和鲁棒性上都具有更优秀的表现,甚至在地下停车场的传感器退化场景依然可以稳定工作。