我国是一个拥有辽阔海域、超长海岸线和充裕海洋物资的海洋大国,因此舰船视觉系统有着十分重要的应用价值。在军用上,可以用于发现敌情、加强海域监管、维护海洋权益等;在民用上,可以用于管理海关运输、海防安全、港口调度、海上非法行动等。目前对于海上目标的识别与跟踪大多都针对于海面各种舰船目标,但在实际应用中,空中飞行物体(如飞行器、飞鸟等)和其他水面物体(如岛屿、礁石、海面大型鱼类等)都可能是舰船监控的目标。因此本文以海空多目标作为研究对象,设计一款能够准确且实时地识别跟踪海空多目标的舰船视觉系统。本文主要做了以下研究:首先,视频图像的预处理与实验数据集的设计及制作。基于海上数字视频的监控图像容易受到光照条件的影响,如夜晚、阴天、雾天等都会使监控视频图像的质量下降。为了使采集的舰船监控视频能被后续操作更好地利用,本文使用图像增强和图像滤波来提高海上监控视频的质量。结合常用的开源数据集和采集的视频图像数据集来设计适合本文的海空目标数据集,并将所有的图像处理成统一的格式封装,制作成相应的训练集和测试集,以便于训练后续的识别网络。其次,基于卷积神经网络的海空多目标识别算法研究。通过分析比较当前常用的目标识别算法的识别速度和识别精度,本文选择使用YOLO v3网络对海空多目标进行识别。并在YOLO v3网络中加入Inception模块来改进YOLO v3的特征提取网络,使改进的识别网络能更好的提取目标精细的特征信息。通过测试结果可以看出改进后的识别网络的识别效果更好,对于小目标或被遮挡的目标也能够准确的识别。然后,基于视频序列的海空多目标跟踪算法研究。在这部分主要研究了基于KCF的目标跟踪算法,并利用置信度判断机制改进KCF跟踪算法。利用海空多目标识别算法里设计的检测器检测的目标信息来初始化跟踪器,并利用数据关联算法实现同时跟踪多个海空目标。在后续的系统,检测器还会继续检测校正跟踪器,这样做的目的是为了防止发生误检、漏检、目标丢失等现象,保证了海空多目标跟踪算法的鲁棒性与准确性。最后,舰船多目标识别与跟踪视觉系统的界面设计与整体调试。综合设计的海空多目标识别算法与跟踪算法搭建本文的舰船视觉系统。通过对系统的整体测试表明系统能够准确的持续的对多个海空目标同时识别与跟踪。