控制系统作为机械制造设备及工业智能系统中的核心部分在工农业、航空、航天、航海等领域有着众多应用。随着计算机技术及机器视觉技术的发展，产生了基于视觉的控制技术，并以灵活度高、执行效率高等优势广泛地应用于现代工业自动化生产领域。基于视觉的控制系统通过使用视觉传感器来模拟人的视觉功能，从周围环境中提取有用信息，并用识别理解后得到的运动参数信息来控制执行机构完成任务，提高了社会生产力并将人类从某些环境恶劣的工作空间中解放出来。视觉传感器的工作方式是在工作空间中进行非接触式测量，因此涉及目标从三维空间中投影至二维空间的转换过程，图像处理过程，伺服控制器设计及执行机构工作方式等内容。此外，执行机构的非线性和复杂结构也使视觉伺服问题更具挑战。因此，有效的视觉伺服方法的提出对提高控制系统的控制精度及适用范围至关重要。同时，考虑到视觉信息易受外部环境光线及图像处理技术水平等因素影响而导致应用限制，需要引入其他类型的传感器辅助完成伺服任务，由惯性传感器发展而成的惯性导航系统以其自主性强、不受外界干扰、输出信息实时性强等优势在军民领域均有着广泛的应用。因此，本文以控制系统为基础，围绕基于图像的视觉伺服系统（Image Based Visual Servoing,IBVS）和稳定平台系统（Stabilized Platform System，SPS）分别展开对视觉及视觉与惯导组合的伺服控制技术的研究，以实现系统在稳定运行的前提下兼具响应的快速性和准确性。
　　本文首先介绍基于视觉的控制系统的发展进程和研究现状，阐明其分类方式并分析不同模式下的工作原理及各自的优劣势。根据目前可行方案，结合惯性导航系统的研究现状，进一步分析概括二者组合使用的应用现状及发展前景。为本文的整体展开和重点把握进行初期梳理及基础描述。
　　针对图像中包含的不规则形状信息，及因光照或色域相似而引起的颜色不易识别等情况，提出一种最大最小图像区域提取方法和测量方法用以实现常规场景中的快速提取与测量。该方法以图像区域为基础，通过对各图形区域进行较大面积选取和较小面积选取得到目标特征。相比较于其他目标提取方法，该方法易于操作，简便实用且当图形信息欠明晰时仍可准确提取目标特征。针对传统的目标特征提取方法常使用单一特征信息或欠关联信息来描述目标的情况，当目标运动较快或背景嘈杂或存在遮挡情况时则容易引起目标丢失或目标检测失败的问题，提出多特征点时空上下文目标检测方法和结合颜色特征的单特征点时空上下文目标检测方法，此方法通过将多重约束作用于待检测目标上，用以克服检测过程中的目标丢失问题。
　　针对常规的基于图像的视觉伺服系统中视觉伺服控制部分通常采用的比例控制方法在系统存在不确定性因素时其动态响应性能低的特征，提出一种PD-SMC控制方式用以实现系统快速收敛且具有较好的抗干扰能力，并以眼在手上的六自由度机械臂作为执行机构进行验证。PD-SMC控制方法在比例微分控制(Proportional derivative control，PD)和滑模控制(Sliding mode control，SMC)的基础上将二者结合。综合考虑到PD控制结构简单，容易实现，具有快速收敛性能;滑模控制方式可以克服系统的不确定性，对干扰及未建模动态具有强鲁棒性，对非线性系统有着良好的控制效果。将PD-SMC控制方式应用于IBVS系统中可以保持着系统整体稳定的同时，且满足系统的快速收敛及准确性要求，提高系统的整体抗干扰能力和其定位精度。
　　通过视觉传感器获得的图像信息经处理后实现对执行部分的控制，该方式的控制精度依赖于图像信息的准确性，针对当受到外部环境影响或图像处理技术水平等因素的影响时，无法完成导航或控制任务而使其应用领域易受到限制的情况，提出一种视觉传感器与惯性传感器相互辅助进行导航和调控的方式，该方式通过视觉信息和惯性信息间的补充和校正来解决因视觉信息缺失和惯性信息误差而引起的导航或调控偏差，进而实现对系统的有效导航调控，并对视觉与惯性信息结合所应用的卡尔曼滤波方法(KF)进行描述。
　　最后，考虑到执行机构部分根据工作任务不同可选取不同形式，六自由度机械臂需与底部基座固联，运动空间范围有限。因此本部分以双轴稳定平台作为执行机构，针对稳定平台系统所存在的追踪偏差及追踪阶段、稳定阶段分离问题，提出一种基于视觉/惯性信息的双自由度稳定平台调控方案用以实现对目标的实时追踪与对平台的恒稳控制。对基于视觉/惯性信息的双自由度稳定平台系统中的速度环与位置环控制回路中分别采用常规PID控制方法和转换PI-模糊控制方法进行控制。经过测试，结合视觉/惯性信息的双自由度平台系统在保证自身姿态平稳的同时可以较好地完成对目标的追踪任务。