海上会遇船舶的识别和跟踪是近些年船舶工业领域的研究热点,其研究也是无人船智能感知的关键技术之一。为解决对海上会遇船舶检测与跟踪过程的实时性问题,同时能够在保证实时性前提下提高基于卷积神经网络的海上会遇船舶检测算法的检测效率,本文利用参数量较少的注意力机制模块,对轻量化的卷积神经网络目标检测算法进行改进,同时改进了最佳边界框的选择方式,从而提升了关键特征的提取能力,提高了算法的精确率,并通过改进后的目标检测算法结合基于卡尔曼滤波目标跟踪算法实现了多类别多目标跟踪,并减少了跟踪中ID跳变的次数。主要研究内容如下:（1）基于新加坡海事船舶视频数据以及Seaships船舶公开数据集,并对其进行裁剪和标注,采用Mosaic图像増强技术,构建了用于卷积神经网络的模型训练数据库,并搭建了基于Python的Open CV和Pytorch的开发环境,实现了对具体船舶的分类。（2）提出了一种改进YOLOv5中基于卷积神经网络的目标检测算法结构的方法。该方法通过调整部分参数和引入压缩激励结构SENet,对YOLOv5网络结构进行了改进;随后采用Confluence方法替代了YOLOv5中所采用的最佳边界框选择方法,提升了关键特征的提取能力,提高了目标检测算法的检测效率。（3）采用基于卡尔曼滤波的跟踪算法结合本文提出的目标检测改进算法,对海上会遇目标进行实时的多类别跟踪。通过卡尔曼滤波器作为跟踪器对下一帧图像中的船舶跟踪进行预测;应用马氏距离算法和最小余弦距离算法,并通过级联匹配完成检测框与跟踪器匹配,通过确定检测框与跟踪器之间的最优关联,实现了多类别多目标跟踪;最后,通过基于Py Qt所编写的交互界面将跟踪结果在终端进行呈现。论文以Seaships船舶公开数据集以及新加坡海事船舶视频数据集为基础对论文提出的目标检测和跟踪算法的效果进行测试验证,结果表明该算法对海上会遇船舶具有较好的目标检测和跟踪效果,实时性好,可以满足基于视频的海上船舶驾驶辅助系统的目标跟踪实时性需求,具有一定的应用价值。