随着各种类型的图像传感器技术的发展,以各种形式记录的图像信息越来越丰富。除了传统的RGB彩色摄像机外,还有记录深度信息的深度摄像机以及不可见光波段的红外和近红外摄像机等。不同传感器图像一般根据其不同的特征被应用于不同的应用场景中。例如,自动驾驶一般会使用深度照相机和彩色照相机来获取信息,而视频监视系统通常使用红外照相机和彩色照相机。然而,由于单一类型的图像通常仅具有特定方面的优势,因此为了获得更高的图像质量或者更加有利于后续决策的进行,通常会将多个传感器的图像信息进行融合来获得更好的融合结果。随着图像处理技术和图像传感器技术的发展,以最大化多传感器优势的图像融合技术已成为研究热点。本文对多传感器图像的处理进行了深入研究,主要包括基于彩色图像指导的深度图像超分辨率研究和基于RGB和近红外(NIR)图像的图像融合研究。本文的主要工作和贡献如下:1.提出了一种利用加权最小二乘和零阶反向滤波的交替引导深度超分辨率算法。由于彩色图像和深度图像之间的结构不一致性,在颜色引导的深度超分辨率中会出现纹理复制和边缘模糊的现象。在本文中,我们提出了使用加权最小二乘(WLS)和零阶反向滤波的交替引导深度超分辨率算法。我们采用WLS进行交替指导,并在WLS中交替使用彩色图像和深度图像作为引导图像来抑制纹理复制现象。其次,由于彩色图像和深度图像之间的结构不匹配,彩色图像的引导会导致深度图像的边缘模糊,因此我们对深度图像应用零阶反向滤波以减轻边缘模糊现象。此外,基于全局优化的加权最小二乘滤波器,深度图像的噪声也被有效的去除。2.提出了一种基于交替引导的尺度感知的RGB和NIR多光谱图像融合算法。在低光条件下,相机拍摄的彩色(RGB)图像包含大量噪点并且细节和色彩会损失。然而,近红外(NIR)图像对噪声却具有很强的鲁棒性,并且具有清晰的纹理但是缺失颜色信息。在本文中,我们提出了一种基于加权最小二乘(WLS)的交替引导的RGB和NIR图像的融合算法。在此算法中,低光RGB图像提供大尺度的图像结构和颜色信息,而NIR图像提供清晰的纹理信息。由于它们是优势互补的图像,因此我们采用交替指导的策略基于加权最小二乘滤波器对RGB和NIR图像进行融合。第一步,我们采用第一次引导滤波对RGB图像进行去噪处理以获得基础层。然后,我们对NIR图像进行第二个基于尺度感知的引导滤波进行细节提取以获取细节层。最后,我们结合基础层和细节层以生成融合图像。我们在交替指导的基础上最大化了多模态输入(RGB和NIR)图像的优势。3.提出了利用加权最小二乘和卷积神经网络的RGB和NIR图像多光谱融合算法。在光线不足的情况下,获取彩色(RGB)图像是一项困难的任务。通常的方法是增加相机的ISO以来进行彩色图像的获取。但是,通过提高相机ISO所获得的彩色图像会包含很多噪声和并且损失很多细节信息。但是在相同条件下拍摄的近红外(NIR)图像却包含清晰的细节并且噪声很小。因此,RGB和NIR图像的融合是一种在低光照条件下提高成像质量的合适方法。在本文中,我们提出了通过使用加权最小二乘(WLS)和卷积神经网络(CNN)的RGB和NIR图像的多光谱融合来改善低光照条件下的成像质量。我们将RGB和NIR图像的融合分为两个模块:RGB图像降噪模块和NIR细节转移模块。对于RGB图像的降噪,我们基于加权最小二乘滤波器通过RGB图像和NIR图像的联合引导以滤除RGB图像中的噪声。在NIR细节转移模块中,为了将NIR图像中的清晰细节信息传递到融合图像中,我们设计了基于卷积神经网络的细节传递网络。