论文部分内容阅读
多源运动图像作为一种重要的冗余和互补的信息表现形式,在卫星遥感、航空航天、机器人视觉等领域的图像处理与分析中都起着重要的作用。由于多传感器系统中不同传感器的光谱波段、模态、安装位置、分辨率和对比度参数设置不同等多种因素的影响,使得多个传感器获取的相同目标或相同场景的多源运动图像之间存在相对平移、旋转、缩放、亮度变化等差异,这使得多源运动图像及其中所包含的目标信息也有着较大差异,严重影响到运动目标的位姿估计以及运动目标的精确识别与跟踪。因此,需要研究新的算法对多源运动图像进行跨尺度的配准与融合,综合利用多个传感器中包含的冗余信息,找到不同传感器之间的匹配关系,融合多源运动图像使融合后的图像包含更为丰富和精确的细节信息。本文针对多源运动图像中不同尺度中所包含信息的互补和冗余特征,对多源运动图像的跨尺度配准与融合方法进行了深入研究。论文的主要工作和创新性成果如下:(1)针对已有的图像配准算法在特征点匹配过程中提高配准精确度的同时会增加计算复杂度的问题,提出了一种基于局部三值模式的运动图像配准算法(SIFT-LTP)在保留了SIFT可以精确稳定提取特征点的同时,采用LTP算子描述SIFT特征点,保持了描述后的特征对图像旋转、尺度、亮度等变化的稳定性和高效性,提升了特征点匹配的效率。采用相对距离的最邻近与次邻近点距离之比对描述后的特征点进行匹配,去除明显不匹配点和格外点。采用随机抽样一致(RANSAC)方法进行精细匹配,求出最佳参数得到变换矩阵。用双线性插值方法融合待配准图像,得到配准后的图像。考虑待配准图像上的旋转、缩放、亮度、噪声等变化,以及算法运行效率等因素,本文提出的SIFT-LTP算法运行良好,保留了SIFT特征提取的优势,不但具有良好的特征配准精确度,而且具有比SIFT算法更好的运行速度。(2)针对已有的运动图像融合过程中对图像的纹理细节信息考虑不足的问题,充分利用图像的纹理和清晰度特征,提出了一种基于局部分形维数和离散小波框架变换的运动图像融合算法(LFD-DWFT)。作为一种描述图像纹理特征的测度,分形维数可以有效地从图像中提取出更为清晰的纹理信息。通过将分形维数引入图像融合过程,可以从多源图像中转换更多清晰的纹理信息到融合图像。LFD-DWFT算法采用DWFT作为分解方法,省略了下采样步骤,在分解图像时避免了由下采样导致的平移变化和混叠效应,保持了较高的计算效率。实验结果表明,LFD-DWFT算法在多聚焦图像、多曝光图像以及可见光-红外图像的融合上运行良好。由于局部分形维数的引入,能更好地提取图像中的重要信息,提高了传统的DWFT融合算法的性能,使得多源图像中的有效信息更多的转移到融合图像。(3)针对已有的运动图像融合算法在融合过程中仅考虑空间尺度的信息,而没有考虑时间维度的运动信息的问题,提出了一种基于统一离散曲波变换和时空信息的运动图像融合算法(UDCT-ST)。当采用UDCT来分解图像,并在系数融合后从中重构出融合图像时,UDCT-ST算法能提取更多重要的信息,并将它们转移到融合结果,在很大程度上抑制了原图像序列中的噪声所造成的影响。不同于传统的仅考虑单独帧的融合算法,UDCT-ST算法同时考虑当前帧和其前后相邻帧,采用局部时空信息来指导融合过程,将融合过程从传统的2维空间扩展到了3维空间,充分利用时间维度的运动信息,从而生成时间稳定性和一致性更好的融合结果。实验结果表明,由于在融合过程中采用基于时空信息的融合规则,本文提出的UDCT-ST算法可以得到更高质量的融合结果。主观视觉评价所用的帧问差异图和客观评价指标都表明UDCT-ST算法在时间稳定性和一致性以及时空信息提取方面比对比的融合算法具有更好的表现。(4)针对已有的运动图像跨尺度融合算法难以在视频传感器有视角、距离、亮度等较大变化的情况下进行融合的问题,提出了一种基于分散式卡尔曼滤波的自适应多视频传感器融合算法(ADKFF)。在融合过程中,ADKFF算法引入了传感器可信度来评估传感器在目标检测方面的性能,采用传感器的可信度自动调节局部卡尔曼滤波器的测量误差协方差矩阵,自适应地在融合过程中为待融合视频传感器分配更加准确的权重。将分散式卡尔曼滤波融合框架引入到视频传感器融合中,使得来自不同视频传感器冗余的跟踪数据得到充分的利用。ADKFF算法可以有效减少因不正确的目标跟踪和位置映射引起的目标位置误差。实验结果表明,与集中式卡尔曼滤波融合算法、联邦式卡尔曼滤波融合算法、标准分散式卡尔曼滤波融合算法以及其他自适应的算法相比,ADKFF算法在监控视频序列上运行效果良好,比对比算法具有更好的融合性能。(5)基于本文提出的SIFT-LTP、LFD-DWFT, UDCT-ST和ADKFF算法,设计并实现了多源运动图像的跨尺度配准与融合系统。该系统包含数据采集层、逻辑层和用户层三个逻辑层次。系统的核心为逻辑层,该层次包含如下几个功能模块:预处理模块、配准模块、像素级融合模块和特征级融合模块。预处理模块主要用来对待处理的运动图像进行旋转、缩放、模糊以及加噪声等处理;跨尺度配准模块,实现旋转、缩放、模糊、噪声等不同条件下运动图像的配准;像素级融合模块实现了基于局部分形维数的运动图像融合功能和基于时空信息的运动图像融合功能;特征级融合模块实现了不同视角、距离和光照情况下视频序列的特征级融合。系统能提供良好的用户交互界面,用户可以方便地使用本文提出的相关算法以及对比算法,可为空间交会对接地面再现任务提供视觉质量更高、包含信息更丰富、更加综合的运动图像融合。