近年来,伴随着陆地资源的逐渐衰竭和生态环境的恶化,世界各国开始将发展的目光转向了辽阔的海洋领土,海洋设备的研发在这场海洋资源争夺战中显得尤为重要,无人船就是其中的研究重点之一。本文主要研究了无人船的环境感知技术,在分析无人船常用传感器的优缺点基础上,提出了基于双目视觉的无人船水上目标测距和识别系统。首先,本文简要介绍了相机坐标转换,相机畸变,立体匹配等双目立体视觉测距的基础概念。针对相机标定技术,本文采用张正友标定法对相机进行标定,并使用MATLAB相机标定工具箱完成了双目相机的标定实验。在立体匹配中,针对现有半全局立体匹配算法存在的不足,本文提出了一种基于FAST特征的视差范围估计方法,并通过使用融合梯度、颜色、Census变换以及视差范围的方式改进了匹配代价计算。实验表明,改进的算法模型有效提高了整体视差精度,基本满足无人船水上目标测距的要求。其次在目标检测方面,本文选用YOLOv3神经网络作为研究方案,将水上航行常见的目标分为轮船,帆船,礁石,冰川,助航标志五类,采用人工方式对收集的2000张图片进行标注,并按照PASCAL VOC格式制作数据集。在YOLOv3的基础上,使用GIoU对损失函数进行改进,并采用数据增强的方式增加了训练的数据量,改善模型的泛化能力。实验结果证明,训练后的模型mAP提升了3.19%,能够很好地适应各种实际场景。最后,本文又对系统进一步扩展,在探究Tracking-by-Detection方式的多目标跟踪原理的同时,深入研究了SORT算法的流程,在此基础上将YOLOv3和SORT算法相结合,实现了对目标的实时跟踪,并设计了基于PyQt5框架的水上目标测距和识别系统。实验表明,该系统基本满足实时性和精确性的要求,具有一定的指导意义。