论文部分内容阅读
由于图像采集设备的局限性,单一图像无法全方位展示场景的信息,因此,提出了图像融合的思想。图像融合是利用图像之间信息的冗余性和互补性,提取源图像中的“感兴趣的”特征信息,融合成信息全面的清晰的图像,进一步提高图像的空间感知能力、利于图像分析处理,更加适合于人类视觉识别和计算机后续检测、分类等工作。随着科技的进步,生活的快节奏,图像的多类型,使得图像融合的实时性、普适性成为迫切解决的关键问题。本文在参阅大量的中外文献的基础上,针对多聚焦图像、医学图像、红外与可见光图像的融合,从特征的精准度、方法的普适性和实时性三方面考虑,设计和实现了四种图像快速融合的方法。其主要研究内容和创新点如下:(1)针对图像的块效应问题,从邻域的内容相关性出发,提出了自适应差分进化算法。利用种群进化自适应调整缩放因子和交叉因子,实现了分区的自适应;通过启发式搜索策略,迭代求得分块的最佳尺寸。结合拉普拉斯金字塔变换,设计了基于自适应差分进化算法的多聚焦图像融合方法。近似系数利用自适应差分进化算法划分区域,利用SML计算区域的聚焦度并形成融合决策图,借助逐像素加权融合规则完成近似系数融合。细节系数采用了局部区域梯度能量取大与优化决策图相结合的融合策略完成融合。实验结果表明,本方法的融合结果画面清晰,消除了块效应和边缘的不连续性,在主观视觉效果和客观评价两方面均优于所选的方法。(2)针对多源图像特征的多样性,在自适应差分进化算法的基础上,从图像结构出发,提出了基于区域累加梯度对比度的活动级测量算法,精准提取图像的结构信息和边界信息。为了实现方法的实时性,设计了基于区域累加梯度对比度的多源图像快速融合方法(RAGC)。采用自适应差分进化算法计算图像区域分割的最佳尺寸,通过比较两输入图像对应像素点的区域累加梯度对比度构建融合决策图,借助形态学和图像引导滤波算法优化获得最终决策图,最后采用逐像素加权融合规则完成图像融合。实验结果表明,本方法特征提取精准,结构清晰,一定程度上解决了细节模糊问题和抑制了块效应,适合于多种类型图像的融合,具有一定的普适性;运行速度快,满足了实时处理的要求。(3)为解决RAGC方法在融合部分医学图像时出现少量的伪影问题,选用PCNN模型进行特征提取,根据神经元的点火总数来确定清晰度。为提高特征精准度,设计并实现了 PCNN模型所有参数的自适应设置,将图像的静态特征与PCNN模型所有参数动态链接,实现了不同图像,不同参数,不同特征。为加快执行速度,利用脉冲皮质模型简化了 PCNN模型,不仅降低了 PCNN模型的耦合度,而且减少了参数个数,由9个减少为5个。针对多模态图像,设计了 NSST域下参数自动设置的简化的PCNN模型的融合方法。高频系数利用参数自动设置的简化的PCNN模型计算各系数的点火总数完成融合。低频系数利用区域能量和梯度能量相结合实现融合。为充分验证方法的有效性,从多个角度设计了实验。实验结果表明,本方法的融合结果局部细节提取精准,画面清晰,对比度无失真,有效解决了伪影的问题,优于所选择的经典方法。(4)为了避免人工特征提取的局限性,采用了 CNN模型,利用大数据驱动自适应学习寻求图像特征,提升了特征的精准度,具有很强的泛化性。为了保证空间信息的完整性,提出了基于上采样操作的改进的CNN模型,由六层叠加小卷积操作组成。多层设计不仅扩大了感受野、保证了平移的不变性,而且减少了训练参数的个数,提升了运算速度。针对多聚焦图像,提出了基于改进的CNN模型的融合方法。输入图像经改进的CNN模型分离为聚焦区域和非聚焦区域,采用逐像素加权融合策略拼接聚焦区域完成图像的融合。实验结果表明,本方法的融合结果细节清晰、结构完整、对比度无失真,画面无伪影,有效避免了灰度不连续、人工噪音等问题。该方法在主观视觉效果和客观评价准则两方面都取得了优于传统方法的结果。本方法借助GPU,实现了并行计算,提升了执行效率。