论文部分内容阅读
由于外界环境复杂多变,在运动图像捕获过程中经常遇到光照变化、遮挡及噪声干扰等因素,采用单个传感器往往不能获取目标场景的清晰完整信息,严重影响到视觉导航和目标识别的准确性。由于运动图像的动态变化特性,使得对运动图像的分析成为一个非常复杂的过程,因此需要研究多传感器运动图像的跨尺度分析和融合方法,获取完整清晰的目标场景图像。尽管现有的图像分析和融合技术已经取得了一定的进展,但在运动图像跨尺度分析与融合处理方面仍然存在很多亟待解决的科学问题。本文从多传感器运动图像的时空尺度、频率尺度、传感器尺度和光照尺度出发,深入研究多传感器运动图像的跨尺度分析和融合方法。论文完成的主要工作和创新性研究成果如下：(1)针对已有的运动图像分析方法不能充分抽取运动图像序列的运动信息所导致的时空分析能力的不足,提出了运动图像跨尺度分析算法(MCTA),构建了从时间、空间和频率尺度分析运动图像的框架。MCTA算法提供了对运动图像序列中运动特征的抽取能力,能估计出运动向量,从而实现运动补偿,并增强了图像帧之间的相关性。将运动图像的分析转换为在不同尺度、不同频率空间的信号,有效地刻画了图像的结构、细节卡u纹理特征。对运动补偿后的相邻图像帧进行多尺度几何分析,增强了相邻帧对应系数之间的关系,提高了运动图像分析的精度。实验结果表明,与基于3D-DWT、3D-DTCWT两种三维多尺度几何分析的融合结果相比,MCTA算法在运动图像序列融合中能够更加准确地表达边缘纹理和运动细节,提高融合结果性能,在客观量化指标上也有较大提升。(2)针对已有的图像融合方法进行运动图像融合时在保持融合序列间稳定性和一致性方面的不足,以及融合过程中不能准确区分不同模态多传感器运动图像间的互补和冗余信息的问题,提出了基于特征相似性的多传感器运动图像融合算法(FSIMF)。FSIMF算法将待融合原图像序列分解为组合的高频和低频子带系数,充分利用从前一帧到下一帧的时间运信息和空间几何信息,确保了融合图像序列的时间稳定性和一致性。为了充分利用跨尺度系数,提出了基于特征相似性的时空融合策略用于获取合系数,可以准确地抽取相邻帧对应子带的时空相关信息,区分互补与余信息,融合图像保留了丰富的场景细节,消除了冗余信息。实验结果表明,FSIMF算法不仅保证了图像的融合质量,有效地融合了原图像中的重要信息,消除了冗余,同时也保持了图像序列的时间稳定性和一致性,避免了序列间的抖动现象。(3)针对已有的运动图像融合方法在保持重点目标区域质量方面的不足,以及缺少对噪声处理的有效机制方面的问题,提出了基于三维shearlet变换的多传感器运动图像序列融合与降噪算法(SIFD)。SIFD算法利用三维shearlet变换的跨尺度几何分析特性,结合显著性特征,有效地描述运动图像的边缘和纹理细节,实现了从时空尺度和频率尺度进行融合与降噪。提出了基于3D PCNN的高频系数融合策略和基于显著性3DPCNN的低频系数融合策略,提高了系数融合的准确性,保证了显著目标区域的完整性和清晰度。实验结果表明,针对无噪声图像序列,与3D-DWT、3D-DTCWT和3D-UDCT-salience融合算法相比,SIFD算法不仅保证了图像整体融合质量,也保持了显著目标区域的完整性,视觉效果及客观评价值都有明显改善。针对有噪声图像序列,与3DDTCWT-FD和3DUDCT-FD算法相比,SIFD算法性能最佳,互信息、梯度保持度、时空梯度保持度、帧间差互信息、峰值信噪比、均方根误差各项量化指标都取得了较好的结果。(4)针对已有的多曝光图像序列处理方法对不同环境下图像处理能力的不足,以及不能有效处理动态场景融合的缺陷,提出了基于特征的多曝光运动图像序列融合算法(FMIF)、解决了由于光照变化导致的场景捕获不完整、细节不清晰的问题。提出了基于特征的权重估计方法,集成相位一致性、局部对比度和颜色饱和度三种图像特征,准确地度量了像素的质量,提升了权重图的准确性。采用基于一致性敏感哈希的块匹配图像对齐方法,解决了目标运动造成的融合图像运动模糊和虚影问题,提升了融合结果的质量。实验结果表明,对于不同环境下的多曝光图像序列,包括标准多曝光序列和我们拍摄的机器人多曝光序列,FMIF算法都取得了良好的效果,得到了具有高动态范围的、光照良好的完整清晰的场景图像。(5)基于提出的MCTA、FSIMF、SIFD、FMIF算法,设计实现了多传感器运动图像的跨尺度分析与融合系统(MTAFS)。MTAFS系统分为数据层、逻辑层和用户层三个层次。逻辑层包括跨尺度分析、多传感器融合、融合与降噪、多曝光融合四个模块,实现了多传感器运动图像跨尺度分析、不同模态的多传感器运动图像序列精确融合、带有噪声的运动图像序列的同时融合与降噪、不同曝光尺度图像序列的融合功能。运行结果表明,MTAFS系统在多传感器运动图像跨尺度分析与融合中取得了较好的性能,提升了运动图像的场景表示能力,可为视觉导航系统提供完整、清晰、连贯和稳定的场景运动图像,也验证了本文所提出算法的有效性。