无人艇（Unmaned Surface Vessel,USV）近年来逐渐进入人们的视线,不论是从军事角度还是民用角度都得到了足够的重视。无人艇的可重构性使得它在军事活动中独立执行任务,这极大保障了人员的安全。在民用行业,无人艇可以轻松的完成高强度的作业任务。虽然无人艇给人们的生产生活带来了便利,但是也给国家的海岸线安全与航行规范造成了巨大的威胁与困扰。传统的无人艇检测技术精确度低、自主化不高、监控范围等方面有明显的不足。而基于深度学习的目标检测技术能够克服这些困难从而对无人艇进行有效的检测。目前,国内外基于深度学习的无人艇检测技术尚不成熟,因此本文在深入分析基于深度学习的目标检测技术的基础上,针对无人艇这类速度快、体积小的目标,从事了以下几项研究工作:（1）无人艇是新兴领域中一类结合有前沿技术的无人化智能设备,在采用深度学习检测这类目标时,需要网络模型针对数据训练从而拥有针对这类特征的检测能力。但是目前常用的数据集中并没有对这一类特征的标注。所以,本文中从军用无人艇以及民用无人艇两方面对无人艇图片制作数据集。为了完成目标检测的任务,使用Label Img标注软件将数据图片转化为VOC数据集形式。在实例分割任务中,采用Labelme标注工具对无人艇额外增加一个掩膜用以在检测时区分不同的目标。（2）在目标检测的任务中,为了能够实时的对无人艇这类航行速度快、体积小的目标进行检测。本文提出了一种基于ECIo U（Enclosing Center distance Intersection over Union）损失函数的YOLOv3（You Only Look Once version 3）算法,在MATLAB的仿真实证明,所提出的损失函数在模型收敛速度上具有先进的优势。在提出的算法基础上进行数据集的训练以获得对无人艇这类特征的检测能力。同时,由于在远距离情况下,无人艇的成像效果小,需要引入多尺度预测网络,YOLOv3的多级残差网络结构刚好满足对小目标的检测要求。E-CIo U损失函数的提出,使得目标框的定位更加准确,对于提升算法的精度具有重要的作用。（3）在候选框选择方面,提出了改进的Cluster NMS算法,在无人艇含有遮挡情况时,结合E-CIo U距离损失,在确保临近目标框为同一类的两个预测框的同时依据高斯平滑函数对目标框的置信得分进行一定程度的衰减,进而增加了对含有遮挡目标框的输出概率,提高了模型的检测精度。在实例分割方面,采用YOLACT分割算法中的掩膜预测框架,其一阶段的多级预测结构在保证实时性的同时增加了模型对小目标的分割精度。无人艇检测与分割的同时运用,使得检测具有了更丰富的图像信息。