机器人的智能化是当今机器人研究的一个重要方向，而机器人的视觉伺服又是机器人智能化中的一个热门子课题。本文对机械臂视觉伺服系统中运动控制、视频图像处理及视觉伺服进行了研究，通过对运动控制器和视觉控制器的设计实现了目标的定位与跟踪。首先，本文研究了机械臂的运动控制系统，在反馈回路对光电码盘信号的检测采用的是基于状态转换的速度和位置信号检测方法，在前向通道采用双闭环的控制结构对控制律进行设计，而控制系统设计的指标是通过分析目标的运动特性和几何特性获得的，然后在MATLAB RTW环境中进行半实物仿真及调试。其次，本文使用达芬奇DM6446的图像处理平台对视频信号进行处理，其中对视频信号处理的算法采用的是背景差分与颜色阈值分割相结合的方法，并利用Linux操作系统提供的多线程机制对应用程序进行设计，满足了目标跟踪实时性的要求。最后，本文对摄像机标定原理进行了研究，确定了摄像机坐标系与世界坐标系之间的关系，并结合已经提取出的图像特征信号，对视觉伺服控制器进行设计，生成了机械臂的运动控制指令。针对运动控制指令与系统响应之间的不协调问题，文章又提出了三种应对策略。