高动态范围成像及鬼影去除关键技术研究

来源 :西南大学 | 被引量 : 0次 | 上传用户:Wangyu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
高动态范围(High Dynamic Range,简称HDR)成像不仅能够提供更好的视觉表达,也为数字媒体的跨越式发展提供了崭新而强大的推动力。目前,基于低动态范围(Low Dynamic Range,简称LDR)的图像融合方法仍然是获取HDR成像的主要途径之一。在图像融合过程中,如何有效地去除因动态场景、相机抖动、图像配准不精确甚至是运动目标大位移等因素造成的鬼影效应是HDR成像亟待解决的关键问题,其面临的技术难点主要包括:1)全局多曝光融合(Multi-Exposure Fusion,简称MEF)算法,难以实现与自然场景接近的明暗细节饱满、色彩丰富的融合目标;而采用局部多曝光图像融合算法求解会导致算法复杂度增加,同时可能会出现因局部过度增强导致图像细节不自然,或光晕、噪声被增强的情况;2)真实动态场景下,存在较多复杂不规则的运动,现有去除鬼影技术手段和方法的时间复杂度较高;3)现有深度学习方法为海量视频图像融合提供了一些解决方案,但丰富训练数据集和提升深度学习算法的泛化能力方面仍有待加强。围绕上述关键问题和技术难点,本文主要研究基于大型运动场景的动态图像融合及鬼影去除方法,提出了基于传统多曝光融合(MEF)和基于深度学习(Deep Learning,简称DP)的图像重建及去除鬼影的解决方案。论文的主要贡献如下:(1)针对动态场景HDR图像合成中产生的鬼影问题,特别源图中存在曝光差大或较大运动位移时,提出了基于块结构的图像融合及去除鬼影算法,其中,图像配准模块采用基于尺度不变特征变换(Scal-invariant Feature Transform,简称SIFT)的粗配准策略和基于归一化互信息(Normalized Mutual Information,简称NMI)的细配准策略,图像匹配采用图像质量评价指标中鲁棒性较强——结构相似度(Structural Similarity,简称SSIM)替代标准差或欧氏距离等常规距离测度。本文提出基于块结构的图像配准和匹配的HDR成像方法(High Dynamic Range Imaging based on SIFT and SSIM with Patch Match,简称HDR-SSP)可在提升HDR成像效果的同时有效去除鬼影,生成图像可实现HDR图像的对比度,同时保留不同源图的亮度特征和细节信息。(2)针对现有去鬼影技术时间复杂度较高的问题,本文提出了基于块结构的图像配准和匹配的综合性的HDR成像方法(High Dynamic Range Imaging with Registration and Matching based on Patch,简称HDR-RMP),将基于归一化互信息(NMI)的配准策略嵌入到基于结构相似度SSIM的图像匹配策略中,构建图像配准、图像匹配和图像重建集成并行的HDR-RMP图像融合模型,在实现图像融合质量提升和鬼影去除双重目标时,有效降低计算复杂度。(3)针对海量移动视频图像融合问题,建立基于球面距离(Wasserstein)的生成器和判别器的损失函数,有效地提升了图像配准的精度;在图像合成模块中引入注意力学习机制,增强了生成图像的细节和纹理特征。所提出基于深度学习的HDR成像算法(High Dynamic Range Imaging with Wasserstein GAN,简称HDR-WGAN)特别适用于海量视频图像合成领域,合成图像在质量提升和鬼影去除两方面都有显著的效果,算法时间复杂度较传统MEF算法大幅降低。最后,对研究工作进行了总结并指出对未来工作的展望。下一步拟将传统算法与深度学习算法结合起来,提取图像像素和空间特征并引入到深度学习网络的优化中,开展传统算法与深度学习算法的深度融合研究。
其他文献
<正>近年来,全球中小学学习空间建设正在迎接深度变革,更具核心素养导向的育人目标、教与学方式重构与学习空间重构正在同步发生,更课程、更沉浸、更智慧、更文化、更赋能的创新型学习空间成为新一轮学习空间变革的大趋势。在中国,自2019年6月国家颁布《关于深化教育教学改革全面提高义务教育质量的意见》以来,
期刊
针对成像传感器自身设备动态范围限制的问题,改进了基于相机响应曲线的多曝光图像融合方法。改变曝光时间,获得一组不同曝光度的图像,对高亮图像和低亮图像进行图像融合。首先直接基于图像像素值求解转换因子,简化了高亮图像与低亮图像像素比率因子曲线的运算,避免了对相机响应曲线的求解,通过比率因子将低亮图像中的像素值映射至高亮图像像素值范围,然后对图像进行局域加窗处理,根据高亮图像窗口内的像素饱和情况,划分出像
2021年对于电视新闻来说,是重要的一年。一方面,大事多、喜事多。在建党100周年的重点节点,电视新闻可以呈现与挖掘的新闻事件较多,形成了新闻的富矿。另一方面,媒体融合已经从简单的相加发展到了深度融合的阶段。电视作为传统主流媒体具有视频媒体的特性,在媒体融合的竞争中获得了先天的优势。在主力军进入主战场的过程中,电视新闻作为媒体融合的主力军,在新媒体环境中的主赛道中积极融入转型社会舆论融合的主战场,
<正>2021年以来,上海聚焦楼宇、物业治理、旧区改造等领域,以基层党建高质量发展的典型案例为蓝本,筹划推出12个新时代基层党建创新实践基地。各基地运行以来,已累计接待各类学习团队近5000个,承接各类培训300多次,服务党员群众63万人次。基地全景构筑起基层党建创新实践“风景线”。楼宇党建创新实践基地全面展现上海楼宇党建从“建支部”“优服务”“强功能”再到“善治理”的发展脉络,翻开了“支部建在楼
期刊
<正>高三的数学教学基本上都是围绕复习展开的,是对学生学习过的中学数学的全部内容进行系统全面的回顾和整理. 由此可见,复习课的任务非常艰巨.因此,提升每一节复习课的教学效率显得尤为重要.本文以"解三角形"复习课为例,探讨高三数学复习课如何精准设计提高效率.一、整体设计定位高考对解三角形的考查一般是"一小一大"的形式,即一道选填题和一道解答题,主要是利用正、余弦定理求三角形的边、角和面积,有时也与三
期刊
<正>过去,学习场所长期延续着大致相同的特点:地点固定、布局单一、功能单一,教室就是上课的地方,实验室就是做实验的地方,而且物理实验室就是做物理实验的地方,化学实验室就是做化学实验的地方。现在,特别是近些年来,学生的学习空间已经发生了巨大的改变。一方面,随着教育信息化的发展,技术在学习空间里发挥的作用越来越大。比如前些年就已逐渐兴起的数字化理化生实验室,很多学校都已经配备。在这样的实验室里,教师和
期刊
存货在中小民营企业的日常生产经营过程中占据举足轻重的地位,通过对存货合理的管控,将对企业的经营利润产生较大影响,存货管理的优劣直接影响企业未来的发展。而部分企业的管理者对存货管理意识淡薄,随意采购而导致存货占用大量资金甚至导致企业破产的情况时有发生。本文针对中小企业存货管理过程中出现的各种现象,给予合理化的建议。
<正>育心——师爱之悟"亲爱的艺心小朋友,您好!我快一年没给您写信了,那天看见您朝我微笑,新增一副眼镜、依然默不作声地与我挥手,此时陈老师心中非常开心……"这是一个患有"自闭症"的孩子,认识她源于四年前我刚到任时巡视课堂,发现其随意下位、喃喃自语等多种异象。从老师那儿了解完原因,我随即把她列为每年慰问学生。
会议