论文部分内容阅读
在海洋科学领域,珊瑚礁鱼类检测与识别对海洋生态监控、濒临灭绝的海洋物种保护等起到非常关键的作用。研究表明:珊瑚礁鱼的种类、数量和活动痕迹是否丰富直接反映了珊瑚礁生态系统的健康和生物多样性程度。目前,随着全球大多数珊瑚礁生态系统的显著退化,这一研究课题已经得到了广泛的重视。在水下生态监测和生物多样性监测日益增长的需求推动下,借助先进的成像系统收集更多与海洋有关的多媒体数据并进行有效的分析已经成为海洋科学领域面临的问题。目前全球多个国家和地区都已经在典型珊瑚礁水域部署了水下视频监控系统,来实现对珊瑚礁附近的生物多样性、生态系统健康状况等进行数据采集和监控。与此同时大量的水下视频监控系统也产生了大量珊瑚礁鱼类活动影像。对这些数据进行分析和整理通常需要人类观察者非常耗时的投入,并且需要专家级别的知识,这些问题使得对水下视频数据的分析和利用受到了极大的限制。因此,迫切需要自动化的分析技术,来辅助海洋生物学家利用指数增加的水下数据分析水下图像中的内容。本文针对水下珊瑚礁区域的鱼类检测与识别进行研究,取得了以下研究成果:首先,提出了一种基于特征融合的珊瑚礁鱼类检测与识别方法FFDet。它是一种基于全卷积神经网络的珊瑚礁鱼类检测深度学习方法,由SSD的主干网络组成。但与SSD不同,它将具有详细上下文信息的浅层特征与具有丰富高级语义信息的深层特征进行融合,使用融合后的增强特征进行预测,同时使用来自多个层的特征进行不同大小鱼的检测与识别。在SeaCLEF数据集的实验结果表明:FFDet不仅在性能上优于SSD,在检测性能和速度方面也优于另外两种流行的端到端深度模型,特别是在大型鱼类检测上整体表现更好。其次,提出了一种融合光流信息的珊瑚礁鱼类检测方法FTDet。在水下视频场景中,受到珊瑚礁鱼类姿态变化、运动模糊、光照不均匀、遮挡等问题的影响,使得在一些视频图像中珊瑚礁鱼的外观发生了明显的退化,这种明显的外观退化导致部分珊瑚礁鱼类难以被检测或识别。FTDet通过从相邻视频图像之间提取光流信息,然后将当前视频图像与通过光流传播过来的视频图像进行融合,来实现对当前视频图像中目标外观信息的增强,从而实现更好的检测效果。在SeaCLEF数据集的实验结果表明:FTDet能够具有更好的检测效果。