随着机器人运动学,图像处理技术以及计算机硬件技术的快速发展,机器人视觉研究已经成为机器人学的一个重要研究方向。机器人视觉控制是指借助于实时反馈的视觉信息,控制机器人跟踪期望轨迹或者到达指定的目标位置。此外,由于移动机器人具有非常复杂的非完整约束特性,这导致移动机器人视觉控制策略需要进行全新的分析与设计。因此,针对视觉传感器所带来的各种不确定因素,研究非完整约束条件下移动机器人的视觉控制器设计与分析,是机器人与自动控制领域中极具挑战性的问题。本文探讨了轮式移动机器人视觉伺服控制的相关技术。考虑到传统的视觉控制方法往往忽略或者简化了机器人运动学以及动力学约束,因此本文中主要引入了模型预测控制(Model Predictive Control,MPC)方法来解决非完整性约束问题,并运用原对偶神经网络在线求解凸优化问题。针对机器人的视觉控制特性,在非完整约束移动机器人的运动学模型基础下,建立了机器人视觉镇定系统。为了使系统能够稳定,实验中采用了模型预测控制作为控制方法。模型预测控制可以把目标函数转化为一个带有约束的二次规划(Quadratic Programming,QP)问题,并且利用原对偶神经网络迭代地实时求解这个最优问题,从而得到最优控制输入。其次,由于在实际系统中存在外界未知的干扰从而导致系统的稳定性会受到影响,因此,在此控制方法的基础上又设计了一种动态状态反馈的控制器,这种新的控制方法被称之为管道式模型预测控制(Tube-based Model Predictive Control,Tube-MPC)。接着,在单个轮式移动机器人研究的基础上建立了领导者-跟随者结构的移动机器人视觉编队架构。本文首先推导了移动机器人视觉跟踪模型。该模型从两轮移动机器人的运动学模型开始,引入车载摄像机,根据摄像机透视原理,借助惯性坐标系、机器人坐标系、摄像机坐标系和图像坐标系之间的映射关系,最终建立起图像平面与运动平面的对应关系和视觉跟踪模型的状态方程。此视觉跟踪模型为机器人的运动控制和编队控制奠定了基础,同时也可用于实时估计领导者的运动速度和相对位姿。最终通过tube-MPC方法来控制视觉编队系统到达期望的机器人相对关系。本文基于模型预测控制实现了非完整移动机器人的视觉伺服,包括视觉镇定、管道式视觉镇定、基于视觉的编队控制。最后,通过三个相关的实验分别验证了模型预测控制实现视觉伺服的有效性和可靠性。