基于深度学习的多曝光高动态范围成像方法

来源 :四川大学 | 被引量 : 0次 | 上传用户:ridou
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着移动智能手机的普及,手持拍照成为日常生活中非常重要的一部分。然而,传统的相机传感器无法捕获自然场景中的高动态范围(High Dynamic Range,HDR),专业的硬件设备也由于其高昂的价格难以普及。目前主流的高动态范围成像(High Dynamic Range Imaging,HDRI)技术主要是通过软件层面实现,即利用算法将低动态范围(Low Dynamic Range,LDR)图像恢复为高动态范围图像。从LDR图像生成HDR图像的方法主要分为基于单帧LDR图像和基于多重曝光LDR图像两种。基于单帧LDR图像的方法直接从单张LDR图像生成其对应的HDR图像,需要大量训练数据对且难以恢复到真实场景的动态范围水平。基于多重曝光LDR图像的方法由于具有更多曝光程度的场景信息而能有效避免上述问题,因此受到越来越多的研究人员的关注。在动态场景多重曝光的HDR图像生成方法中,主要有三个难点:(1)如何有效解决因手持相机抖动或者前景物体运动造成的鬼影现象;(2)如何有效融合具有不同曝光值的多帧LDR图像,使其生成贴合真实场景的HDR图像;(3)如何有效提高算法泛化性,尤其是在过曝或欠曝等极限场景下。本文以基于多重曝光的HDR图像重建技术为主要研究内容,提出一种基于深度学习的动态场景多曝光高动态范围成像算法。具体来说,针对上述问题,本文提出一种基于多尺度特征融合的多曝光高动态范围成像模型,能够有效解决鬼影问题,且能够融合重建更高质量的HDR图像。为了让模型更好地收敛,本文提出使用L1误差和感知损失结合的联合损失函数来优化所提出的模型。除此之外,针对现有训练数据中场景单一的问题,本文提出了一种跨曝光数据增强方法来提升模型在极限场景中的泛化能力。和已有方法的对比实验表明,本文提出的方法在多个图像客观评价指标上具有更高的得分。主观实验结果对比表明,该方法能够有效解决鬼影问题,恢复出更高质量和视觉一致性的HDR图像。为了验证所提出的不同模块的有效性,本文也进行了完备的消融实验。
其他文献
传感器阵列由空间中按特定方式排列的一组传感器组成,对物理场进行空间离散采样。阵列信号处理技术利用传感器阵列获取包含了物理场空域-时域/频域信息的数据,对阵列信号数据进行处理,提取其中感兴趣的信号、估计源的时频域参数等。随着处理器、传感器等硬件设备的升级,与信号数学模型及算法理论的突破与推进,阵列信号处理技术迅速发展普及,广泛应用于雷达、声呐、无线通信、生物医学、语音智能等军事及民生领域。声源位置相
人脸图像生成是指利用计算机合成出满足需求的伪造人脸图像,比如黑白照片上色,由模糊人像生成清晰人像等,在各个领域有广泛的应用前景。近年来,随着深度学习技术的迅猛发展,利用深度卷积网络、生成对抗网络等神经网络生成模型生成人脸图像成为了研究热点。利用人像生成技术生成去妆容人像的需求可以分为以下两类:一、去妆算法有面向人眼视觉效果的需求,包括卸妆效果滤镜的娱乐应用、人工参与的身份检查等。二、去妆算法有面向
染色质交互作用是不同染色质间发生的交互现象,影响基因遗传调控等机制。染色质交互作用测量的人工实验成本很高精度很低,且难以在不同细胞类型间迁移使用。主要存在的问题包括:(1)基于组蛋白修饰数据和DNA序列预测染色质交互作用研究鲜少见于文献,目前染色质交互作用预测的相关性结果不高,组蛋白修饰样本缺少对空间位置、数据归一化等特征处理影响的研究,针对不同类型细胞染色质交互作用迁移预测方法不够完善难以推广;
机器阅读理解是自然语言处理领域中的一个重要研究方向,它要求机器通过阅读文本回答问题。以往的机器阅读理解模型大多专注于单文本检索,这些模型只能根据单个段落回答问题,但是在实际问答场景中往往需要通过对多个段落进行推理才能获取问题的答案。为了解决这个问题,多跳推理问答任务被提出。多跳推理问答是机器阅读理解的子任务,该任务旨在跨多个段落进行推理查找给定问题的答案,具备知识推理的能力。目前已有很多模型在多跳
神经形态视觉传感器是一种模拟生物视网膜的仿生传感器,这种新型的视觉设备由光感受器阵列组成,每个光感受器单元异步产生事件,将场景的光强变化编码为无帧的时空事件流。这种传感器有低冗余、低时延、高时间分辨率、高动态范围等优点。由于事件流与传统图像在数据格式上有本质不同,传统图像处理方法无法直接应用与事件流数据。研究构造适合事件流数据的视觉处理方法,是神经形态视觉的一大研究课题。脉冲神经网络以脉冲传递信息
脉冲神经网络受生物大脑结构与计算模式所启发,基于离散稀疏的脉冲信号实现异步计算模式与信息传递,能够被部署在专用神经形态芯片上以极低功耗运行,具有实现高效智能计算的潜力。然而由于专用神经形态硬件芯片在计算以及存储等方面的资源有限,对于需要被部署在其上的脉冲神经网络算法和模型的数值精度、计算模式都有一定要求。为了降低脉冲神经网络算法和模型在硬件上部署的难度,适应硬件芯片的实时应用场景,本文从脉冲神经网
随着物联网技术的快速发展,无线传感器网络被广泛地应用于生活生产。但由于传统无线传感器网络中的传感器节点通常采用电池供电,有限的电池容量使得节点能量问题已成为影响无线传感器网络生存时间和系统性能的主要瓶颈。近年来,无线能量传输技术的发展为解决无线传感器网络中传感器节点的能量问题提供了新思路。利用无线能量传输技术,研究者们提出了无线可充电传感器网络,即在传统无线传感器网络中引入移动充电装置对传感器节点
肺癌是全球当前最常见的疾病之一,而淋巴结的评估在肺癌诊治中占有重要地位。肿大淋巴结的存在被认为与肺癌淋巴结转移密切相关。医生通常依据CT影像中淋巴结情况和/或侵入性分期方法对患者淋巴结转移做出评估,并根据评估结果选择对应的治疗方案。因此,淋巴结的检出和分期影响到患者病情发展、疾病诊断、治疗方案选取和随访等一系列进程。但是由于医疗资源的缺乏和患者数量的庞大,人工阅片使得医生工作强度大,患者等待时间长
结直肠癌是最常见的消化道恶性肿瘤之一。结直肠息肉是结直肠癌的主要癌前病变,对结直肠息肉的早诊早治能够有效的阻断结直肠癌的发病进程,改善结直肠癌患者的生存预后。结直肠镜诊疗技术是临床实践中结直肠息肉诊断的主要手段。但由于存在多种因素不同程度影响了结直肠镜检查的质量和效果,给结直肠息肉甚至早期结直肠癌的检出带来严峻考验。结直肠癌的确诊以结直肠息肉活检细胞的病理检查为依据。结直肠病理的检查是结直肠癌确诊
近年来,随着计算机技术的不断发展,生物电信号的自动识别任务引起了大量学者进行研究。生物电信号自动识别的主要应用场景便是辅助医生进行诊疗,目的是使得计算机可以自主、高效地对生物电信号所反应出的人体疾病、异常做出判断。但在实际应用中,生物电信号的数据标注任务成为了一项大的难题。由于生物电信号本身不易被常人看懂,需要非常有经验的医学专家花费大量的时间进行标注,这极大的浪费了人力资源与时间资源,使数据集的