随着社会的进步,汽车已经成为人们重要的出行方式,然而其在给人们带来便利的同时,随之引发了一系列的交通问题,因此,为了保证安全,减少交通事故的发生,车辆行驶过程需要先进辅助驾驶技术给驾驶员提供帮助。目前,较多的事故都是由于司机无法及时掌握车身外界环境而导致的,现有的环境传感器中激光雷达因为价格高昂难以普及、毫米波雷达受到波长的限制,导致难以测量出环境中距离较远的障碍物,对目标的探测精度较低且无法识别目标类型、超声波雷达由于响应速度过慢,精度低,探测距离小而无法达到车辆环境感知的要求。而车载摄像头具有感知环境信息量丰富、成本低廉、便于批量化生产等优点,因此,基于车载摄像头的车辆环境感知技术具有广阔的探索前景和应用价值。为了提高车载环境感知的能力,基于视觉的环境感知技术已得到广泛的研究,其中包括全景图像拼接技术、运动目标检测技术、视觉定位技术、交通标志检测技术、车道线检测技术等。类比人类处于陌生环境下的运动决策情形,车辆辅助驾驶技术首先需要确定自身的具体位置信息,其次,需要感知身边的障碍物信息,最后需要获取在行径的路线上障碍物的具体信息。因此本文基于视觉的环境感知技术主要涉及:实时获取自身环视信息,从而减少车辆在行驶过程中与周围障碍物的碰撞概率;车辆实时定位,从而确定行驶方向;获取前方车辆信息,从而辅助动作决策。主要工作及研究内容如下:(1)针对车辆自身环视信息的感知,传统的车载全景图像拼接方法中存在参数标定繁琐、不利于实时校准等问题,本文提出一种基于关键帧的配准算法,主要包括以下几方面:1)根据车载摄像头之间的相对位置一段时间内固定不变的特点,提出基于连续关键帧共同提取特征点对,以扩大匹配对的质量和数量,从而弥补图像分辨率较低和场景特征点稀疏的不足;2)针对误匹配问题,提出粗细筛选相结合的方法进行匹配对的修复。首先根据匹配对中存在一对多的情况进行反向匹配,剔除匹配对中明显错误的点,然后针对RANSAC算法的不足提出改进方案,使其较好地进行误匹配对的剔除和优质匹配对的查找;3)在一个大的特征点对集合中进行图像间配准参数的求解。(2)针对车辆单目视觉位姿估计在动态场景适应性差的问题,提出基于动态障碍物滤除的车辆视觉位姿估计算法。主要包括以下几方面:1)结合集成学习的检测结果以及预划分的动态区域,识别出环境中的动态物体;2)在提取出的特征点集合中删除属于动态物体区域的特征点;3)对Fast特征点进行改进:根据动态区域的面积,对特征点的提取阈值进行调整,从而避免总体特征点数量大幅度降低给位姿估计造成干扰。(3)自行设计了动态背景下运动车辆的车牌识别整体流程,针对运动车辆车牌定位不易操作,采用Haar+AdaBoost级联分类器方法对车牌信息进行检测,同时,使用预划分检测区域的方式进行车牌位置的遍历,以提升实时监测性能,减少和消除字符识别中由于车牌图像过于模糊,无法正确识别出车牌字符的问题。在字符识别模块,针对于相对运动引起的字符模糊以及光照不均引起的字符断裂、粘连现象,使用深度学习模型,借助数据增强的方式提高对模糊字符的识别能力,然后针对LeNet-5网络的一些缺点提出改进方法,采用相应的技术从而使模型能够更好的适应车牌字符识别的分类任务。