随着计算机视觉、图像处理等高新技术的发展以及控制理论的不断完善,人们对二轴云台的智能化和自主化要求越来越高,使得二轴云台的应用领域不断扩大。云台视觉作为二轴云台智能化系统的一个重要组成部分,其主要任务就是对摄像机获取的图像信息进行检测与跟踪,另外云台的控制转动性能也对目标检测跟踪的准确性和实时性有重要影响。云台视觉包括目标检测和跟踪两部分。目标检测算法是在YOLOv3的基础上进行改进,通过K均值重新对锚点框进行聚类处理,根据聚类分析的结果重新分配每个尺度的锚点框数量;为了消除了大量简单负样本对模型训练效果的影响,基于焦点损失函数对原网络损失函数进行改进;最后在目标检测层中加入残差块,增加网络深度的同时,又可以避免梯度消失,有效提高了集中小目标的检测精度。对于简单环境的下的目标跟踪采用Cam Shift算法就能达到较好的跟踪效果,但当运动目标所处的环境比较复杂,如目标与背景颜色相近、目标被遮挡或者目标发生粘连时,会出现跟踪不准确甚至跟踪失败的问题,基于此本文将Kalman滤波融合到Cam Shift算法中,并在此基础上提出目标位置预测方法,融合后的算法可以确定运动目标被遮挡或发生粘连时的位置坐标,提高了复杂环境下目标跟踪的准确性。目标检测跟踪的效果也会受到云台转动性能的影响,二轴云台在运动过程中受到噪声、摩擦等不确定因素的干扰时,云台会产生抖振现象,影响目标检测跟踪的实时性和准确性,因此为了提高云台运动稳定性,本文将RBF神经网络引入到滑模PID控制当中,根据动力学模型建立系统的控制方程,采用径向基函数逼近PID参数误差,对滑模控制进行连续齐次补偿,并利用李雅普诺夫函数验证控制系统的稳定性,同时在MATLAB中对控制策略进行验证。最后为了验证所提控制策略和目标检测跟踪算法的有效性,根据目标检测跟踪实时性要求,对摄像机、舵机控制板等主要硬件进行选型,搭建了用于动态目标检测跟踪的二轴云台视觉系统,通过实际工况中的二轴云台目标跟踪实验,证明了整套二轴云台视觉系统的实用性。