在机器人和智能车辆的自主导航过程中,需要对自身状态以及周围环境信息进行实时感知,并以此作为反馈信息进行控制。相比于其他传感器,视觉传感器具有较大的信息量和较低的成本,对环境具有更强的表征能力,从而提高了系统的灵活性。然而,图像空间是三维物理空间的降维表示,在成像过程中丢失了深度信息,并且受到图像噪声、环境光照等多方面因素的影响,因而在感知中需要更复杂的处理过程得到需要的信息,在控制器设计中也需要充分考虑到视觉系统中的模型不确定性和约束,从而保证视觉伺服系统的稳定高效运行。本文中针对智能车辆的视觉感知与控制任务,利用基于多视图几何的建模方法对场景信息和自身状态进行描述,进而从冗余、高维的图像信息中抽象出可以直接用于感知和控制的几何信息,并基于此设计相关的感知与控制算法,主要研究成果如下:·针对两视图几何中单应性和对极几何各自存在的局限性,提出了基于参考平面的两视图几何模型,通过参考平面和投影视差来描述平面和非平面的场景,尤其适合于实际中的道路场景,相比于对极几何模型很大程度上减小了视图间匹配的搜索空间。·基于两视图几何模型,针对一般性的道路场景提出了基于迭代优化的几何重构算法,将道路场景重构为相对于参考平面的高度和坐标信息,基于两视图几何模型提出了相应的初值设置策略,从而保证了优化算法的收敛性和鲁棒性,较好地处理了道路场景中普遍存在的弱纹理和重复纹理的问题。基于重构的结果可以方便地进行可驾驶道路区域的识别。·针对复杂光照下的室外道路场景,提出了基于相机成像模型的光照不变图像变换算法,从而去除图像中阴影的效果,恢复出阴影区域内的纹理信息。相比于以往道路识别中常用的光照不变算法(单通道灰度图像),提出的算法在保证阴影去除效果的同时保留了更多的纹理和颜色信息(三通道颜色图像),并且具有同等的计算复杂度。·提出基于两视图几何的分行递归算法进行道路重构,针对每个图像行交互进行几何重构和道路识别:几何重构中利用了上一行的道路识别结果构造道路边缘的先验概率分布并确定感兴趣区域,从而在提高几何重构精度的同时降低了计算复杂度;道路识别中利用了几何重构得到的几何信息分布和图像像素分布,并结合上一行的道路识别结果进行道路的分割。相比于传统的针对整个图像先重构再识别的思路,提出的算法只需要对道路存在的区域进行处理,从而具有更高的运算效率。·针对车辆的单目视觉轨迹跟踪任务,提出了基于三焦张量的尺度化位姿估计算法;常规的视觉伺服跟踪控制中为了得到全局连续一致的尺度化位姿信息往往要求轨迹的初始视图与最终视图有足够的匹配信息(相机视野约束),文中提出了基于关键帧的策略,通过关键帧的选择和位姿变换算法在不需要初始视图与最终视图有匹配信息的情况下得到了更加精确和鲁棒的全局尺度化位姿信息,从而大大扩展了系统的工作空间。·针对非完整约束车辆的单目视觉轨迹跟踪/位姿调节任务,基于估计的尺度化位姿信息提出了自适应控制策略,设计了时变参数的控制律同时解决了非完整约束下的轨迹跟踪和位姿调节问题,并通过自适应更新律在线估计位姿信息中未知尺度信息和相机外参信息(在车辆上的未知安装位置),从而可以在相机安装在任意未知位置的情况下保证控制器的渐进收敛,进而基于单目视觉反馈精确地实现对轨迹的跟踪和位姿的调节。