无人船是一种智能的多功能水面交通设备,其在军事领域和民用领域占有重要地位。中国海域和内陆水域面积辽阔,为了更好地开发和利用海域和内陆水域资源,研究更加智能化的水面无人船显得尤为重要;同时,随着日益严峻的水域环境污染问题,在河道、湖泊等岸边随处可见水面漂浮物垃圾,而传统的采用人工或大型机械船进行水面漂浮物垃圾清理的方式存在清理成本高、效率低下、分散垃圾清理不干净、人员安全得不到保障等一系列问题,设计一套智能高效的水面漂浮物垃圾清理无人船迫在眉睫。本文针对以上问题,以水面漂浮物垃圾清理无人船为研究平台,采用计算机视觉及多传感器融合等人工智能方法,围绕无人船的水岸线提取、水面目标识别与跟踪、无人船视觉定位等关键技术展开研究,主要工作如下:(1)通过对传统区域生长法进行改进,根据种子点选择规则构建最小二乘问题,实现了种子点的自动选取,并根据水岸样本图像在Lab颜色空间的统计特征,利用图像标准差实现了生长规则的阈值自适应,然后通过改进的区域生长法实现了水岸图像分割和水岸线提取,并将其用于水面目标识别任务中,来消除岸体对目标识别的影响。(2)根据透明物体(水)对三维激光雷达发射出的激光束具有吸收特性,提出了相机与三维激光雷达数据融合的水面漂浮物目标检测方法,来消除波纹和倒影对目标识别产生的虚警。通过相机与三维激光雷达联合标定得到相机内参和两传感器之间的外参,并利用得到的内外参将三维激光雷达数据融合到图像中。采用CornerNet-Squeeze目标检测网络对水岸分割后的水面图像进行水面目标检测,得到候选目标,统计候选目标框内存在的激光雷达点云数目,根据候选目标框内点云占目标框面积的比例,结合CornerNet-Squeeze检测结果计算候选目标置信度,当置信度高于设定阈值,认为检测到水面目标,否则认为候选目标是倒影或波纹产生的虚警。(3)为了提高无人船在目标跟踪状态下视觉系统的响应,提出了目标识别器与目标跟踪器相结合的目标检测框架,先通过目标识别器搜寻水面目标,当检测到目标,则将其用于初始化KCF(Kernelized Correlation Filters)目标跟踪器,在后续帧中仅采用KCF算法对目标进行跟踪,从而利用KCF算法在效率上的优势实现无人船视觉系统对目标位置的实时反馈,并解算无人船控制量,使无人船靠近目标并进行打捞作业。(4)针对视觉里程计在无人船上应用时,存在因水面图像特征稀疏和船体晃动等导致定位失败的问题,利用相机与IMU(Inertial Measurement Unit)的互补性,构建融合IMU数据的视觉惯性里程计,并利用KLT(Kanade-Lucas-Tomasi)特征跟踪算法代替特征点匹配,实现了鲁棒的无人船视觉定位。