在全球“工业4.0”以及《中国制造2025》的推动下,信息、计算机、通信、网络以及人工智能等技术得到了快速发展。作为海洋强国战略的核心内容,海洋科技创新成为争夺海洋领导权和话语权的关键领域,智能船舶是海洋科技创新领域的重要方面,在世界各国航运领域和科研机构范围内得到了广泛研究。作为智能船舶的关键技术,基于计算机视觉的信息感知技术能够有效弥补船用雷达和自动识别系统在海上目标检测与跟踪等方面的不足,保障船舶航行安全。在智能船舶领域,由于船载摄像机自身的六自由度低频晃动和高频抖动以及公开的海上可见光数据集相对较少,阻碍了计算机视觉在船舶检测与跟踪领域的发展。因此,本文研究了基于计算机视觉的海上多目标船舶检测与跟踪关键技术,主要包括海天线检测算法、图像序列内船舶运动特征建模、海上目标船舶检测算法以及海上多目标船舶跟踪算法。在海天线检测算法中,针对当前海天线检测算法实时性和稳定性较差的问题,将船载摄像机和惯性传感器数据相融合,研究了海天线快速估算模型和海天线精确检测模型。前者分析了摄像机在海上的六自由度运动,利用惯性传感器提供的横摇角和纵摇角数据,构建了海天线估算模型;后者在候选区域内利用改进的边缘检测模型获取图像边缘,利用改进的霍夫变换模型将边缘信息变换到霍夫空间,实现了海天线位置的精确检测。试验结果表明:估算模型具有较低的估算误差;精确检测模型对海天线的误检和漏检具有非常好的鲁棒性,精确率和召回率分别达到了 95.71%和96.88%。在图像序列内船舶运动特征建模中,针对船载摄像机自身运动的问题,分析了连续帧内船舶的运动特征,通过特征点匹配、海天线匹配、特征点分类、单应矩阵计算四个步骤构建了光流运动模型,实现了图像序列内动态和静态目标准确地运动估计,为海上多目标船舶检测与跟踪算法提供了准确的候选位置。在海上目标船舶检测算法中,从三个方面对现有算法进行了改进。算法1在候选区域内应用改进的最小障碍距离变换算法分割目标船舶,在保证精度的前提下,实现了目标船舶的快速提取;算法2在候选区域内应用光流运动模型获取了稳像图像内的船舶候选框,并利用图像分类模型实现了海上目标船舶的定位、识别;算法3从分块检测和自适应锚框聚类两个方面改进了 YOLOv3模型,并在新加坡海事数据集和自建数据集上实现了高精度的目标船舶检测。试验结果表明:对比离散余弦变换算法,算法1的平均精确率和运行速度分别提高了 12.36%和62.07%,实现了传统检测算法性能的大幅提升;算法 2 的平均精确率达到 90.03%,高于 SSD-resnet50-fpn、Faster-rcnn-resnet50 和 YOLOv3算法;算法3的平均精确率达到95.63%,高于其它对比算法,实现了更好的船舶检测精度。在海上多目标船舶跟踪算法中,研究了基于Deep SORT的改进算法,针对运动模型,利用光流运动模型代替卡尔曼滤波模型,消除船载摄像机自身运动的影响;针对外观模型,利用改进的Resnet50分类模型代替深度余弦模型作为骨干网络,进行船舶身份重识别;针对相似性度量,利用联合度量代替级联度量,对跟踪框和检测框进行有效匹配,并利用匈牙利算法将二者进行数据关联,实现了多目标船舶的逐帧跟踪。试验结果表明:算法的整体性能明显优于其它算法,在岸基和船载数据集上,分别有四项和五项性能指标获得了最佳跟踪效果。本文的研究成果能够有效弥补传统信息感知设备的不足,快速建立起清晰直观的情景感知意识,提升海上船舶避碰、防海盗以及遇险救助能力,保障海上人命财产安全,为智能船舶的发展提供可靠的技术支持,促进海洋科技创新,推动海洋强国战略的发展。