机械臂无标定视觉伺服控制不需要对摄像机的内外参数进行精确标定,其利用摄像机获取的图像信息,控制机械臂在笛卡尔空间中的运动,增强了机械臂对控制环境的抗干扰能力,提高了控制系统的鲁棒性。无标定视觉伺服在图像空间设计控制律,利用在线估计的图像雅克比矩阵反映图像特征变化与机械臂关节角度变化的非线性关系。但是由于没有建立精确的视觉映射模型,无标定视觉伺服对机械臂在笛卡尔空间的最优运动轨迹的跟踪并不理想。针对此问题,本文引入了改进强化学习算法,强化学习具备免模型、自学习的优点,能够让机械臂通过自主学习的方式逼近最优运动轨迹。对于标准强化学习算法存在的收敛速度慢,学习效率低的问题,本文基于先验知识优化了强化学习的动作选择策略,缩短其动作探索时间,进而提高强化学习的学习效率。本文的主要研究工作如下:(1)提出了基于改进强化学习的机械臂无标定视觉伺服控制方法。首先基于先验知识改进强化学习,将机械臂与环境交互获得的经验信息作为先验知识,利用先验知识构造一个动作选择函数,将其与?-贪心算法结合,构成强化学习的动作选择策略。利用该策略指导强化学习的动作选择,减少探索最优学习动作的次数,降低学习的任务量。然后基于Kalman滤波算法在线估计图像雅克比矩阵和机械臂末端在笛卡尔空间的位姿,改进强化学习算法根据该位姿评估并调整控制策略,进而优化机械臂在笛卡尔空间的运动轨迹。(2)在MATLAB仿真平台下,利用机器人工具箱和视觉工具箱搭建了仿真环境,并进行了基于改进强化学习的机械臂无标定视觉伺服仿真实验。通过与基于标准强化学习算法的仿真实验对比,验证了在仿真环境中,利用本文所提方法控制的机械臂,在笛卡尔空间具有更优的运动轨迹。(3)基于Denso机器人公司生产的六自由度工业机械臂、RC7M控制器、CCD工业摄像机和PC计算机,搭建了机械臂无标定视觉伺服实验平台,并利用本文所提方法进行了机械臂无标定视觉伺服空间定位实验。通过对比实验,验证了本文所提方法在实物平台中同样具有更好的控制效果。