我国海域广阔、河流众多、航运发达。在周边海域监控、内河港口船舶信息管理、环境感知决策等领域中,海上目标检测与跟踪的理论研究与实际应用具有重大意义。目前,主要通过合成孔径雷达成像、遥感成像、红外成像及可见光成像对来检测海上目标。其中可见光成像与其它成像方法相比,其包含丰富的颜色、纹理及光谱信息,可实现小范围海域多目标船舶高效检测与跟踪。其价格低廉适于大规模推广应用,已成为当前的研究热点。本文以海上目标为研究对象,重点研究基于可见光图像的海上多船舶目标的检测与跟踪方法,具体内容如下:首先,本文收集真实海上目标图像数据用于训练,并且将数据集分为军舰、快艇、货船、客船、帆船、其他船舶、大型鱼类、鸟类与礁石等10个类别,通过label Img软件对数据集进行标记。针对海上目标识别精度极易受到复杂环境影响的问题,本文利用图像混合技术将复杂环境图像与海上目标图片按比例混合,从而增强海上目标检测器的鲁棒性。其次,针对传统船舶检测算法精度不高的问题,本文将深度学习YOLOv3算法引入船海目标检测领域,同时为解决YOLOv3海上弱小目标识别不高的难题,提出基于改进YOLOv3的海上目标检测方法。通过训练时增加海上小目标样本数量使得小目标检测效果更好;引入Octave卷积CFE模块使得YOLOv3网络模型特征提取能力变得更强更快;使用GIOU改进回归损失函数使得网络边框回归更加准确。试验结果表明:所提改进YOLOv3算法的目标检测精度有较大提升,对小目标检测效果更好。再次,船舶跟踪过程中主要存在船舶形变以及遮挡与交叉导致的重识别问题。本文通过改进后的YOLOv3检测器每隔10帧数后与核相关滤波跟踪器进行目标匹配,解决船舶运动形变问题;通过引入基于神经网络的视觉特征改进原有数据关联,解决了船舶遮挡、交叉运动导致丢失跟踪目标;在改进后的YOLOv3检测器逐帧检测基础上,本文对跟踪目标与检测目标与进行匹配实现了船海多目标跟踪,且将该方法作为实验对照。最后,将船舶运动视频制作成数据集用于验证所提算法的有效性。试验结果表明:基于KCF与改进数据关联的多目标跟踪算法在实时性与跟踪准确性上达到一个很好的平衡,该算法能够对海上船舶稳定跟踪,并且跟踪目标因遮挡丢失一段时间后能够重新跟踪该目标。