无人船是一种能完全自主航行的高度智能化水面移动平台,用来跟踪水面目标的视觉系统在军事和民事领域中发挥着至关重要的作用,目前国内外研究人员对基于无人船视觉的水面目标跟踪开展了广泛的研究。本文在光照变化、背景多变等复杂环境下对水面目标进行视觉跟踪研究,主要解决了因水面环境变化、外界干扰、目标外观变化等因素而导致跟踪不准确的问题。针对水面多目标视觉跟踪问题,通过结合跟踪算法与检测算法实现水面多目标准确可靠的跟踪。本文研究的主要工作内容如下:首先,针对核相关滤波器（Kernel Correlation Filters,KCF）跟踪算法在复杂多变的水面环境下跟踪不准确问题,提出了基于KCF改进的尺度自适应多特征融合的核相关滤波视觉跟踪算法。针对目标尺度变化问题,通过在KCF算法基础上加入尺度相关滤波器,来实现尺度自适应跟踪,并采用降维策略加快尺度滤波器对目标尺度检测的速度;针对跟踪过程中如光照变化、背景颜色相似,目标姿态变化等情况造成跟踪不准确的问题,采用多特征融合方式来确定目标位置,利用多种特征优势互补来提高跟踪的精度。实验结果验证了改进后的算法对水面目标跟踪的可靠性和优越性。其次,针对在长时间跟踪过程中出现外界遮挡以及目标移出摄像头视野外等情况造成跟踪失败的问题,在改进后的算法基础上提出了基于KCF改进的尺度自适应多特征融合的核相关滤波长时视觉跟踪算法。为保证目标滤波器模型能够准确稳定的更新,通过加入平均峰值相关能量与平均响应最大值进行联合,以评判目标是否受到遮挡作为滤波器更新的衡量标准;加入在线训练支持向量机（Support Vector Machine,SVM）检测器,对丢失的水面目标进行重定位,改进后算法能够很好地解决跟踪过程中出现遮挡以及移出摄像头视野外等外界干扰的问题,同时使算法的鲁棒性增强。实验结果证实了改进后的算法长时间对水面目标跟踪的准确性。最后,针对水面多目标视觉跟踪问题,以及算法初始帧手动框选目标而造成跟踪不准确问题,采用基于Deepsort（Deep Simple Online and Realtime Tracking）与YOLOv3（You Only Look Once version 3）相结合的多目标视觉跟踪算法。用YOLOv3检测算法来初始化识别水面多目标的位置信息,利用匈牙利算法来对预测的目标轨迹和检测的状态进行数据关联匹配,联合水面目标运动信息和外观信息作为关联匹配度量的标准,同时采用级联匹配方式来解决目标在长时间遮挡下跟踪不准确问题,实现了实时准确的水面多目标跟踪。实验结果证实了该算法对水面多目标跟踪的可靠性和准确性。