论文部分内容阅读
在传统基于单源图像的目标识别系统中,因传感器成像机理的限制,无法在复杂环境下获取目标全面准确的信息描述,目标识别率较低。随着信息融合技术的不断发展,利用多源图像信息融合可以有效扩展系统获取目标描述的时空覆盖范围,从而提高系统的目标识别率。传统的融合方法主要基于像素级层面,其融合对象大多为大场景下高分辨率图像,且融合效果依赖图像配准精度,无法适用于局部场景下低分辩目标图像。特征级融合是基于图像中提取特征的对应关系而进行的信息融合,具有在相对较少计算数据量的同时,较好地保证融合精度的优势特点,同时特征级融合算法可以互补各源图像以及各特征提取算法之间的优势,去除冗余信息。本文针对无人机平台下可见光/红外双源图像融合识别需要,开展可见光/红外图像特征级融合目标识别研究,论文主要工作与创新点包括:(1)为了满足本文研究的实验数据需求,搭建了无人机平台下可见光/红外双源成像系统,采集了近视场下多种目标的多姿态、多视角双源图像数据集。(2)为了避免单一特征描述的局限性和敏感性,研究了多类图像特征提取算法,构建了双源图像的多特征集合作为特征级融合对象,并通过实验分析了特征在单源图像以及双源图像中的相关性和敏感性表现,为后续的特征级融合明确了方向。(3)为了优化双源图像多特征中的冗余性问题,提出了一种结合最大相关最小冗余(minimal Redundancy Maximal Relevance,mRMR)与主成分分析(Principal Components Analysis,PCA)的特征级融合方法。该方法首先基于mRMR特征评价准则,分别对可见光、红外单源图像的多特征集合进行选择融合,提取原始特征集合中与目标类别强相关,与其它维度低冗余的特征子集作为该源图像的mRMR融合特征;然后基于PCA算法对可见光与红外双源图像的mRMR融合特征再次进行变换融合,得到方差最大化且互不相关的主成分作为目标双源图像的mRMR_PCA融合特征。实验表明:基于双源图像mRMR_PCA融合特征的目标识别率相对于单源图像有显著提高,且性能优于其它融合算法。(4)为了提高系统在有干扰的复杂环境中的目标识别率,避免多特征集合构建带来的时间及特征描述局限性问题,提出了一种基于卷积神经网络(Convolutional Neural Networks,CNN)的双源图像特征提取及融合识别方法。该方法首先利用迁移学习理论,通过相似分布的大型可见光数据集训练CNN模型,优化其全局隐式特征学习能力,获取各网络层权重和偏置参数;然后分别将可见光、红外图像输入模型,提取最后池化层输出作为该源图像的CNN特征;最后基于结合mRMR与PCA的特征级融合方法得到目标双源图像改进的mRMR_PCA_CNN融合特征。实验表明:该方法不仅提高了系统在弱光、有噪声及遮挡干扰的复杂环境中的目标识别率和稳定性,同时也大幅提升了系统效率。