可见光/红外图像特征级融合目标识别研究

来源 :南京航空航天大学 | 被引量 : 4次 | 上传用户:shanyuqi0513
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在传统基于单源图像的目标识别系统中,因传感器成像机理的限制,无法在复杂环境下获取目标全面准确的信息描述,目标识别率较低。随着信息融合技术的不断发展,利用多源图像信息融合可以有效扩展系统获取目标描述的时空覆盖范围,从而提高系统的目标识别率。传统的融合方法主要基于像素级层面,其融合对象大多为大场景下高分辨率图像,且融合效果依赖图像配准精度,无法适用于局部场景下低分辩目标图像。特征级融合是基于图像中提取特征的对应关系而进行的信息融合,具有在相对较少计算数据量的同时,较好地保证融合精度的优势特点,同时特征级融合算法可以互补各源图像以及各特征提取算法之间的优势,去除冗余信息。本文针对无人机平台下可见光/红外双源图像融合识别需要,开展可见光/红外图像特征级融合目标识别研究,论文主要工作与创新点包括:(1)为了满足本文研究的实验数据需求,搭建了无人机平台下可见光/红外双源成像系统,采集了近视场下多种目标的多姿态、多视角双源图像数据集。(2)为了避免单一特征描述的局限性和敏感性,研究了多类图像特征提取算法,构建了双源图像的多特征集合作为特征级融合对象,并通过实验分析了特征在单源图像以及双源图像中的相关性和敏感性表现,为后续的特征级融合明确了方向。(3)为了优化双源图像多特征中的冗余性问题,提出了一种结合最大相关最小冗余(minimal Redundancy Maximal Relevance,mRMR)与主成分分析(Principal Components Analysis,PCA)的特征级融合方法。该方法首先基于mRMR特征评价准则,分别对可见光、红外单源图像的多特征集合进行选择融合,提取原始特征集合中与目标类别强相关,与其它维度低冗余的特征子集作为该源图像的mRMR融合特征;然后基于PCA算法对可见光与红外双源图像的mRMR融合特征再次进行变换融合,得到方差最大化且互不相关的主成分作为目标双源图像的mRMR_PCA融合特征。实验表明:基于双源图像mRMR_PCA融合特征的目标识别率相对于单源图像有显著提高,且性能优于其它融合算法。(4)为了提高系统在有干扰的复杂环境中的目标识别率,避免多特征集合构建带来的时间及特征描述局限性问题,提出了一种基于卷积神经网络(Convolutional Neural Networks,CNN)的双源图像特征提取及融合识别方法。该方法首先利用迁移学习理论,通过相似分布的大型可见光数据集训练CNN模型,优化其全局隐式特征学习能力,获取各网络层权重和偏置参数;然后分别将可见光、红外图像输入模型,提取最后池化层输出作为该源图像的CNN特征;最后基于结合mRMR与PCA的特征级融合方法得到目标双源图像改进的mRMR_PCA_CNN融合特征。实验表明:该方法不仅提高了系统在弱光、有噪声及遮挡干扰的复杂环境中的目标识别率和稳定性,同时也大幅提升了系统效率。
其他文献
青少年乒乓球俱乐部是现代体育产业发展中,促进青少年乒乓球运动发展不可或缺的组织,但是由于长期运营不善以及教练员队伍匮乏等问题,大多数俱乐部经营还有待改进,同时关于青少年乒乓球俱乐部经营的实践研究不足,急需转变青少年乒乓球俱乐部的运营模式,迫切地转变经营理念和组织规模,扭转长期亏损的经营状态。通过调查湖北省5个地级市注册运营的10家青少年俱乐部运营现状及发展模式,分析俱乐部经营所面临的困境与问题,并
在最近几年里,穿戴式设备由于拥有新颖实用的功能和小巧玲珑的外观,而越来越受到人们的喜爱。然而,穿戴式设备的尺寸较为小巧,所以用户使用诸如触摸屏等传统的方式与它们进行
本文就研制的能够适应多品种扁平薄壁轻质散热管的准确输送,能够将散热管按宽度方向竖直且保证咬口焊缝同侧自动紧密排列的螺旋凸轮机构的工作原理、运动设计及应用情况作了
抢断技术是篮球防守技术体系中的重要组成部分,随着篮球运动的发展,现代篮球运动中防守技术的压迫性、攻击性日趋强烈,抢断技术也在不断发展与完善。在第31届奥运会上,中国男篮五场比赛全负,表现让国人大跌眼镜,防守表现与世界强队的差距明显。本文意图对中国男篮与对手抢断技术运用特点进行归纳总结,找出差异之处,为我国男子篮球抢断技术的训练提供理论支持。本文综合运用了文献资料法、专家访谈法和录像观察法,初步构建