随着海军舰艇在现代军事、经济的地位提升,针对舰船目标的识别技术的研究也变得越来越重要。海洋舰船目标探测的手段多种多样,主要包括光学成像,红外成像,雷达成像等。舰船多源成像的融合识别也成为了研究热点。在实际情况中,获取的多源成像会受到外部条件影响,和自身传感器限制,导致成像效果较差。例如:光学图像分辨率较高,但是容易受到光源和天气、气候的影响,存在部分信息缺失的情况。而ISAR等雷达成像虽然分辨率较低,但是能够实现主动探测,且其分辨特性不受距离的影响,能全天时全天候的工作。而红外成像的分辨率一般介于两者之间,是被动成像系统,并且也能实现全天时全天候的成像工作。基于这三种图像互补且异构的信息,可以进行多源图像融合识别。本文是基于相同时空的舰船目标多源图像融合识别这一问题展开研究,期望使用生成对抗网络(GAN)将已有部分信息(舰船ISAR像,有雾的光学图像和红外图像)来生成高分辨图像信息(光学图像),并进行图像融合,从而达到改善舰船目标识别效果的要求。主要内容包括:首先,本课题为了训练和测试生成对抗网络,需要获得舰船光学图像,ISAR图像和红外图像数据集,为了获得观测角度统一的多源成像,采取了成像仿真的方式,通过建立舰船的3D模型并进行网格剖分,利用算法来进行舰船成像仿真,最后进行图像预处理,构建图像数据集。其次以生成对抗网络为切入点,利用改进的GAN改善舰船图像质量,主要包括三种算法:舰船目标的光学成像受到云雾遮挡,造成舰船图像的部分信息缺失等问题。Pix2pix网络可以通过训练有云雾遮挡的信息缺失的光学图像,生成无雾图像来改善光学图像的质量,提高舰船目标识别率;基于光学图像和ISAR图像具有互补且异构信息,实际获取的舰船图像存在着角度不匹配的问题,使用Cycle GAN网络来解决舰船异质图像的转换融合问题,并且可以缓解小角度扰动带来的影响。而Pix2pix HD网络是基于Pix2pix改进的算法,不仅有效提高了生成图像的分辨率,而且还可以增加局部生成器来得到期望分辨率的高清图像,因此使用该网络将低分辨的红外图像生成高分辨舰船光学图像。最后为了进一步提取舰船多源图像的特征,去除图像的冗余信息,采用了基于小波变换的舰船多源融合算法,生成新的图像。为判断基于生成对抗网络生成的图像质量,使用改进卷积神经网络(CNN)自动提取特征,并将GAN输入图像和生成图像,融合图像,输入到网络中,通过分析舰船类别和舰船具体型号对比分析识别效果。实验结果表明利用本课题的方法不仅可以自动进行多源融合,减少手动提取的特征所耗费的人力物力,还可以有效的改善舰船目标的识别效果。