论文部分内容阅读
高动态范围(High Dynamic Range,简称HDR)成像不仅能够提供更好的视觉表达,也为数字媒体的跨越式发展提供了崭新而强大的推动力。目前,基于低动态范围(Low Dynamic Range,简称LDR)的图像融合方法仍然是获取HDR成像的主要途径之一。在图像融合过程中,如何有效地去除因动态场景、相机抖动、图像配准不精确甚至是运动目标大位移等因素造成的鬼影效应是HDR成像亟待解决的关键问题,其面临的技术难点主要包括:1)全局多曝光融合(Multi-Exposure Fusion,简称MEF)算法,难以实现与自然场景接近的明暗细节饱满、色彩丰富的融合目标;而采用局部多曝光图像融合算法求解会导致算法复杂度增加,同时可能会出现因局部过度增强导致图像细节不自然,或光晕、噪声被增强的情况;2)真实动态场景下,存在较多复杂不规则的运动,现有去除鬼影技术手段和方法的时间复杂度较高;3)现有深度学习方法为海量视频图像融合提供了一些解决方案,但丰富训练数据集和提升深度学习算法的泛化能力方面仍有待加强。围绕上述关键问题和技术难点,本文主要研究基于大型运动场景的动态图像融合及鬼影去除方法,提出了基于传统多曝光融合(MEF)和基于深度学习(Deep Learning,简称DP)的图像重建及去除鬼影的解决方案。论文的主要贡献如下:(1)针对动态场景HDR图像合成中产生的鬼影问题,特别源图中存在曝光差大或较大运动位移时,提出了基于块结构的图像融合及去除鬼影算法,其中,图像配准模块采用基于尺度不变特征变换(Scal-invariant Feature Transform,简称SIFT)的粗配准策略和基于归一化互信息(Normalized Mutual Information,简称NMI)的细配准策略,图像匹配采用图像质量评价指标中鲁棒性较强——结构相似度(Structural Similarity,简称SSIM)替代标准差或欧氏距离等常规距离测度。本文提出基于块结构的图像配准和匹配的HDR成像方法(High Dynamic Range Imaging based on SIFT and SSIM with Patch Match,简称HDR-SSP)可在提升HDR成像效果的同时有效去除鬼影,生成图像可实现HDR图像的对比度,同时保留不同源图的亮度特征和细节信息。(2)针对现有去鬼影技术时间复杂度较高的问题,本文提出了基于块结构的图像配准和匹配的综合性的HDR成像方法(High Dynamic Range Imaging with Registration and Matching based on Patch,简称HDR-RMP),将基于归一化互信息(NMI)的配准策略嵌入到基于结构相似度SSIM的图像匹配策略中,构建图像配准、图像匹配和图像重建集成并行的HDR-RMP图像融合模型,在实现图像融合质量提升和鬼影去除双重目标时,有效降低计算复杂度。(3)针对海量移动视频图像融合问题,建立基于球面距离(Wasserstein)的生成器和判别器的损失函数,有效地提升了图像配准的精度;在图像合成模块中引入注意力学习机制,增强了生成图像的细节和纹理特征。所提出基于深度学习的HDR成像算法(High Dynamic Range Imaging with Wasserstein GAN,简称HDR-WGAN)特别适用于海量视频图像合成领域,合成图像在质量提升和鬼影去除两方面都有显著的效果,算法时间复杂度较传统MEF算法大幅降低。最后,对研究工作进行了总结并指出对未来工作的展望。下一步拟将传统算法与深度学习算法结合起来,提取图像像素和空间特征并引入到深度学习网络的优化中,开展传统算法与深度学习算法的深度融合研究。