基于变分自编码器的低照度图像增强方法研究

来源 :桂林电子科技大学 | 被引量 : 0次 | 上传用户:gzw39
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
低照度环境导致图像成像质量下降,图像噪声较多、对比度较低,用于图像分类、目标识别、图像理解分析、超分辨率重建等图像处理时效果不理想。因此需要对该类图像进行照度增强,即提高图像整体和局部的对比度、去噪,适当调整图像背景和边缘。本文利用变分自编码器作为关键技术针对低照度图像增强进行研究,从不同角度分析低照度图像特点,采用多种技术和手段完善低照度图像的图像结构,提高低照度图像的对比度、丰富细节并降低噪声,最终获得结构完整、色彩自然和细节清晰的高质量图像。本文主要提出了以下三种图像增强方法。针对低照度图像多重失真特点(低亮度、多噪声和模糊等),基于变分自编码器提出了一种多重构变分自编码器(Multiple Reconstruction-Variational Auto Encoder,MR-VAE),逐步增强、从粗到细地生成高质量低照度增强图像。MR-VAE由特征概率分布捕获、全局重构和细节重构三个模块构成,核心思想是将全局特征与局部特征分阶段重建、将多重失真问题逐步解决,全局重构模块构建图像全局特征,提高全局亮度,得到较粗糙的图像;细节重构模块权衡去噪与去模糊,生成细节更逼真、噪声更少与局部亮度更合适的图像;此外,定义了一个多项损失函数替代基础的VAE损失,以引导网络生成高质量图像。实验结果表明,多重构与多项损失函数的设计提高了网络生成复杂图像、处理多重失真的低照度图像性能,且提高了生成图像的质量、信噪比和视觉特性。低照度图像增强任务需要同时进行颜色恢复、去噪和光照增强等操作,但目前大部分工作仅考虑了光照增强,故难以生成高质量的增强图像。为了解决这个问题,提出一个以变分自编码器为基础,结合上下文编码和注意力机制的深度概率模型(A novel deep probabilistic framework that integrates both attention mechanism and context encoding into a unique variational autoencoder,ACE-VAE)。ACE-VAE的关键模块包括一个跳跃优化模块(skip refinement modulue,SRM)和一个上下文编码模块(context encoding module,CEM)。SRM利用注意力机制对跳跃信息进行加权,以筛选噪声并提取重要特征。CEM由一个注意力金字塔(attention feature pyramid,AFP)和一个全局上下文提取器(global context extractor,GCE)组成。其中,AFP用于对有效的上下文信息进行编码且自适应分配不同权重给局部区域;GCE用于捕获全局上下文信息。此外,提出一个包含内容生成、去噪和基本变分自编码器损失的多项式损失函数,利用该损失函数引导网络在增强光照和保持适当饱合度之间取得更好的平衡。实验表明ACE-VAE能够获得更好的性能。针对自适应增强问题,一方面由于低照度区域是分散的,学习像素间的长距离依赖关系有利于网络判断一个像素周边区域的照度,另一方面低照度区域的形状和面积具有多样性,学习多尺度表征能力有利于网络捕获这类特征。故通过将VAE与Transformer结合,并引入多尺度特征提取与自校准卷积,提出了Trans-VAE用于低照度图像增强,不同于MR-VAE和ACE-VAE,Trans-VAE具有更高效的低照度增强性能,采用“一步到位”的策略增强低照度图像,减少了算法复杂度,提高了增强效率。Trans-VAE主要由BSA(Bottleblock of Scale Aggregation)和BSAT(Bottleblock of Scale Aggregation with Transformer)组成。BSA用于捕获多尺度特征,BSAT通过将BSA的普通卷积层替换成Transformer而得到,主要用于学习长距离依赖关系,不同于标准的Transformer通过简单的线性变换获得Query、Value和Key,本文通过全局平均池化和自适应池化计算Query和Value,以获得全局和局部上下文的表示,促使网络根据全局信息自适应地增强局部区域。实验表明,Trans-VAE能够有效增强超低照度图像,优于经典和最新的低照度图像增强方法。
其他文献
阵列三维合成孔径雷达(Synthetic Aperture Radar,SAR)可以实现对场景更丰富信息的观测,成为国内外雷达领域研究的热点之一。传统阵列三维SAR各阵元发射宽带信号,带来宽带信号非线性和接收端宽带信号无法有效分离的问题。频率分集阵列(Frequency Diverse Array,FDA)三维SAR各阵元发送具有频率差的单频信号,摆脱了传统阵列三维SAR发射宽带信号的限制,具有很
在现代社会,对更高数据速率通信系统的需求不断增加。在多输入多输出(Multiple Input Multiple Output,MIMO)领域,索引调制(Index Modulation,IM)技术作为一种创新性的传递信息的方式,由于在频谱、能量效率及硬件简单性方面的独特优势,IM近年来成为新的研究热点,是未来无线网络很有竞争力的候选技术之一。空间调制(Spatial Modulation)作为I
非合作通信是在通信参数未知的前提下,利用信号处理技术对接收的电磁波信号进行参数估计和解调,在军事和民用领域都有着广泛的用途。本文针对MIMO-OFDM的非合作接收问题,研究了发射天线数目、空时编码模式以及子载波数估计方法,主要研究成果如下:(1)针对MIMO系统发射天线数目估计难的问题,提出一种基于CNN的发射天线数目识别方法。该方法采用单天线接收MIMO信号,将采集的不同天线I&Q数据经过功率归
高阻隔硫化橡胶由于其固有的优异性能,被认为是一种至关重要的化学防护材料,但仅仅是避免危险化学品和人体直接接触并非解决穿戴者人身健康问题的最优解。因此,对于进一步增强其溶剂阻隔性能和溶剂敏感特性仍是值得讨论的议题。本工作利用环保、无毒的多巴胺(DA)还原氧化石墨烯(GO),即聚多巴胺改性氧化石墨烯(PDA-r GO)作为补强填料,分别以氟橡胶(FKM)和溴化丁基橡胶(BIIR)为基体,通过溶液共混法
金属表面瑕疵的自动化检测是工业质量控制领域的研究热点,工业制造商对金属表面质量的高标准对计算机视觉检测系统及其算法的性能提出了更高的要求。由于金属表面瑕疵类别的复杂性和多样性,以及纹理区域、噪声灰尘等干扰的存在,检测划痕、裂纹和凹痕等缺陷对传统的计算机视觉方法来说是一项挑战。传统图像处理需要排除外界干扰对瑕疵进行统计分析,以定性或定量的方式表示特定瑕疵,在应用以及性能上具有一定的局限性。而深度学习
基于波达方向(DOA,direction of arrival)估计目标定位技术是阵列信号处理研究的重要内容之一,在雷达领域有着广泛的应用。传统的相控阵雷达波束指向在所有距离内都固定在一个角度,存在固有距离模糊性缺点,无法直接从其波束形成输出中估计目标的距离信息。频控阵(FDA,frequency diverse array)雷达与传统相控阵雷达不同,其波束方向图是角度-距离相关的,因此在雷达目标
目前无线体域网(WBAN)应用主要集中在医疗监测、老人监护和军事等方面,而无线体域网研究的基础是人体的电磁特征。故此,本文针对5.8GHz这一ISM频段的胳膊电磁特征展开研究,研究其传输电磁波时的通道特征,具体研究如下:1.真实胳膊电磁模型研究。首先利用3D成像扫描仪对特定个人的胳膊进行扫描,建立起具有真实外形的胳膊模型;然后,根据中国人群的医学生理特点和人体器官各相关的电磁参量,建立具有层状结构
下视线阵三维合成孔径雷达(Synthetic Aperture Radar,SAR)利用阵列天线与目标的相对运动合成二维虚拟面阵,结合脉冲压缩技术,获得空间目标的三维分辨能力。然而,这种基于宽带发射信号的SAR系统硬件设计复杂且接收信号不易分离。通过将频率分集阵列(Frequency Diverse Array,FDA)应用到三维SAR模型中,各阵元只需发射单频信号便可获得宽带观测性能,大大降低系
近些年,中国的对外承包业务展现出蓬勃发展的态势,使建筑业日益成为支撑经济发展的重要产业,既得益于“一带一路”战略的深入实施又得益于新型经济的快速发展。在“十四五”规划中提出以拓展基础设施建设为目标,加快完善公共交通基础设施建设,桥梁作为交通运输工程基础设施的重要组成部分,在规模和数量均呈现上升的趋势,且建造时受诸多不确定性风险因素影响较严重,如建设周期长、规模大、跨度大、受力复杂、所需资金多、施工
随着科技不断进步,在许多科学和工业领域产生了大量的数据。这些数据由多种特征表示,形成了多视图数据。因此处理这类数据的多视图学习逐渐成为深度学习、人工智能、神经网络、大数据等领域的研究热点。多视图聚类是多视图学习领域的研究方向之一,经过多年的研究和发展,虽然已经取得许多成就并且应用到实际生活中,但是也存在一些问题。例如,多视图聚类算法需要通过多视图数据预先构造出一个关系图,多视图数据结构复杂,存在不