自主车体现了控制科学、机器人学、认知科学、智能交通等多学科的交叉,是探索新理论和新技术的载体,在军用、民用及大科学工程中均具有重要应用价值。基于视觉的道路环境理解技术是自主车走向全自主和实用化的关键,但目前该项技术尚不成熟,原因在于室外自然环境下运动图像存在大量不确定性扰动,使得鲁棒性、实时性及自适应性强的道路理解算法开发起来十分困难。本文以京龙2号(C30)纯电动无人车项目为背景,围绕道路理解中的关键技术——主导航标识(车道线、虚拟道路中心线)、道路障碍物及辅导航标识(交通标志)的检测与识别问题,从机器视觉的共性技术即视觉信号处理、图像特征提取、图像模式识别角度进行算法改进与算法融合,构建出一套快速、鲁棒、自适应道路环境理解方法体系。频率域多尺度特征提取、稀疏表示、基于特征匹配的模式识别是本文的技术主线。针对城区道路车道线的理解,提出了自校正闭环车道视觉检测器架构,并基于该架构提出了基于小波域多尺度边缘特征和极角约束改进型快速Hough变换的车道线检测算法,进一步提出了基于尺度自适应Kalman滤波的车道线跟踪方法。针对有阴影干扰车道的鲁棒检测难题,提出一种基于二维二进小波分析的频率域阴影干扰去除算法,该算法充分利用车道逆映射变换图上车道线一般呈现为竖向平行线的图像特点,仅在分解后的多级垂直子图上检测车道线。针对虚拟道路中心线提取时遇到的阴影、裂纹等奇异信号造成的视觉算法不鲁棒问题,以及图像大数据实时处理难题,提出了单层小波包近似压缩感知概念与算法,与自适应遗传算法优化的图像分割法相结合,构建出一种实时道路理解算法系统。实验结果表明该方法在保持路面分割一致性及语义确定性方面优于传统方法,且实现了“路-非路”像素的自适应二分类。为深层次理解道路,在上述算法基础上进一步提出了基于小波域语义树Markov模型的道路建模及道路语义理解方法,采用有监督RT-MRF模型进行道路图像序列语义分割,将道路图像分割为具有语义边界的区域,自主车通过跟踪虚拟的道路中心线实现自主移动。该方法解决了道路语义建模问题,填补了当前道路视觉感知领域缺乏严谨数学模型的空白,使道路理解结果向更深的语义层次延伸。针对道路障碍物的检测提出两种方法。方法一采用Contourlet变换进行图像预处理,通过基于图割的立体匹配算法获取视差图,进而提取深度特征,通过自适应Sobel算子提取边缘特征,多特征融合后确定障碍物的尺寸及距离信息。方法二模拟人类视觉特点,提出一种采用自适应Hessian阈值控制特征稀疏度的显著性视觉特征提取方法,并利用该特征实现动态障碍物检测,算法能够适用于晴天、阴雨天、傍晚、夜间等多种天气状况,鲁棒性较强。最后,本文针对光照度变化、视角变化、遮挡、尺度变化等复杂条件下的交通标志检测与识别问题,提出了基于粗粒度H特征和颜色-形状组合特征推理模型的由粗到细二步交通标志检测法,以及基于SURF特征优化匹配的交通标志识别法。