基于注意力机制的图像复原算法研究及应用

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:andyzt509
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在当前的大数据时代,基于摄像头的设备使人们可以捕获大量数字图像数据。然而数字图像在获取过程中,由于受到恶劣天气、光照条件、成像设备的固有误差等影响,使得所捕捉图像的质量有所下降,例如成像内容模糊、分辨率降低、亮度与对比度变差等,影响了人类视觉感官需求和工业视觉任务效果。因此,图像复原技术具有重要意义。与此同时,深度学习已被应用于图像处理的各个领域并取得了良好的效果,注意力机制是深度神经网络中卓越的方法。本文通过分析现有算法的问题和实际应用的需求,对图像复原问题进行了深入探索与研究,提出了多种基于注意力机制的图像复原算法并进行了工程化应用。本文的主要研究成果为:(1)提出基于物理模型约束与注意力机制的图像复原算法。现有的图像复原算法主要有两类,第一类方法基于已构建的图像退化物理模型,通过基于先验或基于学习的方法估计物理模型中的关键变量从而进行复原。但对物理模型中的变量进行多目标优化和非交互式预测会造成误差积累;第二类方法脱离了图像退化物理模型,通过端到端的神经网络直接学习图像特征进行复原,但对数据的依赖性强,脱离物理模型后也难以适应复杂的真实场景。针对上述问题,本方法不估计物理模型中的变量,而是将其作为生成对抗网络生成清晰图像后附加的约束条件,使生成的清晰图像通过物理模型再生成退化图像,将其与输入的原退化图像用判别网络进行判别。本方法无需估计物理模型中的变量,有效减少了误差累积,同时未脱离物理模型,能适应复杂的场景数据。此外,设计了基于多尺度网格结构与空间通道注意力机制的生成网络,并通过自注意力模块加强图像远端区域间的关联性,更好地利用全局信息进行复原。在合成图像与自然图像数据集上的实验证明,本方法的图像复原效果优于大多数主流算法,消融实验也证明了本方法核心结构的必要性与有效性。(2)提出基于非局部注意力网络的多阶段图像复原算法。在高级视觉任务中,多阶段神经网络的效果相比单阶段方法已经有显著提升。基于编码-解码器的多阶段图像复原方法能有效提取场景信息,但难以保留空间细节;基于单尺度信息流的方法空间精度良好,但难以输出语义信息。针对上述问题,本方法同时使用编码-解码器与单尺度神经网络,将图像复原问题分三阶段进行,前两阶段通过编码-解码器学习多尺度上下文语义信息,第三阶段通过非局部注意力网络对原始分辨率图像进行特征提取以保留精细的空间细节。为考虑特征图中像素块间的关联性,设计非局部注意力网络以捕获特征图的全局信息,通过计算自相似性,自适应地调整特征图。多阶段方法不能简单将上阶段信息输出传输到下阶段,因此在前阶段与后阶段间设计有监督的注意力模块,利用前阶段的输出计算注意力图,将此注意力图反作用于前阶段特征图,然后再传递到下阶段。设计跨阶段特征融合机制,在阶段间传递信息时,保留来自编码-解码器的上下文场景特征。实验结果证明本方法的主客观效果相比目前算法都有一定程度的提高,尤其对纹理丰富的图像复原效果更加明显。(3)实现图像复原算法在目标检测任务上的工程化应用。为验证图像复原对高层视觉任务的作用,比较本文提出的图像复原算法的有效性,本文以电梯轿厢内危险物品检测与预警系统作为基本应用场景,实现图像复原算法在目标检测任务上的工程化应用。由于受到电梯内光照、噪声、失真等影响,导致数据清晰度降低,预警系统自动辨认危险物品十分困难。因此,将图像复原算法作为目标检测的预处理过程至关重要,通过优化数据质量进而提升检测精度。本章提出了跨多分辨率流的多尺度图像复原算法,以适应电梯预警系统中来自不同社区、设备的多分辨率视频图像数据。设计两阶段混合级联目标检测算法以精确识别电梯内危险物品,通过对比使用不同图像复原算法处理后的数据进行目标检测的结果,验证了图像复原对于目标检测的作用。同时开发了电梯轿厢内危险物品检测与预警系统软件,建立了高性能的电梯识别管控系统,实现了图像复原在目标检测任务上的工程化应用。
其他文献
近年来,海洋中不断的部署了各种带宽密集型服务和应用,例如大型传感器网络和高清视频/图像传输系统等,伴随而来的是信息量的日益膨胀和对大容量信息传输的激增需求。尽管传统的水下声通信(Underwater Acoustic Communication,UAC)已经具有较高的技术成熟度,但由于其使用了低速声波,因此也带来了容量低和延时大的问题;而对于采用蓝绿色光波作为通信载体的水下光通信来说(Underw
随着通信需求的不断提升,第五代移动通信(5G)在2020年开始正式商用,polar码以其优异的编码性能成为增强型移动宽带场景下的控制信道编码方案,针对polar码的编译码设计是5G系统中一个至关重要的步骤。然而,典型的polar码构造方案一般基于连续消除(SC)译码算法设计,且只适用于特定的信道环境,对于信道极化不充分的有限长polar码来说,同一编码方案在不同条件下性能差异巨大。另外,polar
近年来,随着半导体技术的不断进步,图像传感器采集到的图像分辨率越来越高,然而受限于镜头的曲率,单镜头采集到的图像视角范围最高仅达220度左右,存在视角盲区。全景相机较传统摄像头的突出优势就在于视角范围全覆盖,但是传统全景相机方案很难应用在视频直播领域。人工智能算法在智能安防设备领域展现出极大的发展潜力,常规方案是将人工智能算法部署在云端服务器之上,通过配置数量可观的摄像头避免产生监控盲区,依托服务
网络结构自然存在于现实世界的各种复杂系统中,例如社交网络、购物网络、合著网络、Ad-hoc网络和计算生物学等。这些复杂系统中的许多问题都可以通过网络结构进行推理。在早期的研究中,网络分析方法主要集中在静态网络上,然而现实世界的网络会表现出各种动态行为,例如拓扑演化、特征演化和特征扩散等。事实上,动态性是决定大多数网络系统性能的一个重要因素,因此对于网络系统动态性的研究被视为一个需要深入探索的关键问
现代战争信息化、电子化趋势日益明显,精确制导武器作为精确打击目标的必要手段,已经慢慢取代了原有作战武器,成为战场的主宰。多模复合制导是精确制导武器的核心制导方式,同时信息融合算法又是多模复合制导的灵魂算法,因此信息融合算法在精确制导领域的应用和研究十分广泛。由于信息融合算法在投入使用之前,需要对算法的正确性和实时性进行大量的验证;对于算法的正确性,需要根据实际应用背景对算法是否合理进行评估,对于算
数字全息显微技术(Digital Holographic Microscopy,DHM),作为一种定量相位成像技术,将数字全息技术与光学显微技术相结合,可以从对全息图进行重建得到的强度和相位图像中定量获取细胞等样品的三维形貌以及折射率分布等信息,是一种有效的全场定量、无损非接触、快速、高分辨的三维成像技术。近年来,随着电子成像器件以及计算机技术的发展,DHM在活体生物细胞检测等领域获得广泛应用并取
红外成像技术在红外武器的研制与测试、目标的探测识别与跟踪、灾害救援等军事和民用领域都有着广泛的应用。近几年来国家对海洋资源不断重视,大规模海洋场景的红外仿真研究具有十分重要的现实意义。为此,本文依据红外物理知识和相关图形学方法对海洋场景进行建模仿真,实现了适用于大规模海洋战场环境的红外仿真框架,并对仿真效果进行了可信度评估。本文首先研究了海面的几何网格模型建模方法。在对比了四种常见的高度场建模方法
学位
随着智能化时代的来临,无人系统在农业、工业、航空、航海、军事等领域应用广泛。如今实际环境复杂多变,不同的任务需要用不同的算法实现且每个算法各有优缺点,单一的算法已不能满足实际需求。根据任务规划实现算法协同不仅能够利用算法其自身优势,而且可实现算法间的优势互补,提高无人系统的效率和智能化水平。本文主要研究无人系统中如何根据任务规划调用合适的算法以提高协同性和任务效率,主要工作如下:1.针对无人系统任
智慧交通是当前热门研究领域,智能网联汽车作为智慧交通的核心元素,已逐渐引起社会各界的广泛关注。通过车联网与智能车的有机联合,搭载先进的车载传感器、控制器、执行器等装置,融合现代通信与网络技术,实现车与人、车、路、后台等智能信息交换共享,极大的促进了车辆智能化的发展进程。然而,智能网联汽车在将传统汽车网络化、智能化的同时,也存在着诸多问题,例如:车内信息在CAN总线传输时加密强度较低、加密时间较长、