针对于我国沿海与内陆水域区域视频监控处理存在实际利用率低、误差率大、无识别能力、需人工参与等问题,提出基于Darknet网络模型结合YOLOv3算法实现船舶的跟踪并实时检测识别船舶类型,解决重要监测水域船舶跟踪与识别问题。该算法提出的Darknet网络引入了残差网络的思想,采用跨层跳跃连接方式以增加网络深度,构建船舶深度特征矩阵提取高级船舶特征进行组合学习,得到船舶特征图。在此基础上引入YOLOv3算法实现基于图像的全局信息进行目标预测,将目标区域预测和目标类别预测整合于单个神经网络模型中。加入惩罚机制来提高帧序列间的船舶特征差异。通过逻辑回归层作二分类预测,实现在准确率较高的情况下快速进行目标跟踪与识别。实验结果表明,提出的算法与传统以及深度学习方法相比,在30帧/秒的情况下,平均识别精度达到89.5%,不仅具有更好的实时性、准确性,对各种环境变化具有较好的鲁棒性,而且可以识别部分船舶的类型和部位。