在海陆空载具逐渐向智能化、无人化迈进的今天,无人艇(Unmanned Surface Vehicle,USV)作为一种水面场景下的新型高智能化运载器,在民用领域,如环境监测、人员搜救、海图测绘等方面;以及海防领域,如侦察、巡逻、目标打击等方面均有重要价值。对于无人艇,高智能化的环境感知技术是其完成各类复杂任务的前提保证,也是主要技术难点之一,因此对该范畴下的水面目标跟踪问题展开研究有着直接的现实意义。本论文以“WAM-V”型无人艇为载体,针对其搭载的视觉环境感知系统开展水面场景下基于深度学习改进的图像目标长时跟踪方法,以及单目相机与激光雷达(Lidar)信息融合的目标鲁棒高精度跟踪方法的研究;并在此范畴下对有限数据集的深度学习模型训练问题及无人艇环境感知技术的相关仿真方法进行探索。本文的研究工作主要分为以下三部分:首先,通过对深度神经网络模型的构建、训练及测试,对基于CNN的目标分类、基于R-CNN改进的船只目标检测算法进行研究;其次,对水面场景下基于视觉的目标长时跟踪问题进行研究,在相关滤波类跟踪器的基础上构建离线训练的深度学习目标检测器、丢失目标找回机制,构成鲁棒的闭环;最后,对水面环境中激光雷达点云滤波和聚类算法进行研究,并提出一种单目相机与激光雷达的联合标定的改进方法,最终形成一套相机与Lidar信息融合的水面目标跟踪系统。在仿真及真实外场环境中对本论文提出的方法进行试验评估。验证结果显示,本文提出的视觉长时目标跟踪方法准确性、鲁棒性良好,融合跟踪系统对于小尺度水面目标跟踪精度较高,能够满足本文中USV的设计初衷。