多聚焦图像融合算法研究

来源 :合肥工业大学 | 被引量 : 0次 | 上传用户:jian47312144
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
伴随着计算机技术的发展,虽然目前的成像设备已经发展的比较成熟,但是碍于传感器技术的限制,在使用单镜头成像设备的时候很难获得全聚焦图片。即在单镜头的硬件设备之下,一般很难做到将同一画面的中的目标物体和背景聚焦在同一张图片上。利用多聚焦图像融合技术可以很好的解决上述问题,它可以将相同场景但不同焦距目标的多幅图像融合成全焦距图像,主要目的是保留尽可能多的有效观察结果。多聚焦图像融合在数字摄影、遥感图像、计算机视觉、集成成像、医学、军事学等方向均有广阔的应用前景。在上述研究的基础上,本文提出了两种有效处理多聚焦图像融合的网络模型。提出一种基于通道注意力机制的多聚焦融合网络(Channel-based Multistage Calibration Network,CMC-Net)模型。在变化域和空间域的图像融合方法中,活动水平测量和融合规则是最重要的因素。这两个问题都是复杂且费时的,需要分别进行设计。在需要使用人工活动测量和融合规则的变换域方法和空间域方法中,即使尽可能多地考虑影响,也不能考虑所有情况。当深度学习开始应用到多聚焦融合任务的时候,自然的克服了这种困难。鉴于此,利用不同渠道包含有用信息不一致这一特点来增加网络学习能力是一种可行的方式。特别设计的编解码网络包括编码层和解码层,在编码层利用压缩和激励模块提取通道级全局特征以后,在解码层利用这些特征来了解通道之间的关系。这种通道注意机制能够让模型关注信息量较大通道,同时抑制信息含量少的通道。另外还在编码单元中利用了不同尺度来感知模型需要的不同尺度特征,从而提高了多聚焦图像融合任务中聚焦区域和非聚焦区域分割的精度。为了评估所提出的网络模型的性能,利用公开可用的测试集Lytro进行测试实验,证明了所提出的方法具有较高的融合准确性。还提出一种多损失生成对抗网络(Multiple Losses Generative Adversarial Network,ML-GAN)模型用来解决多聚焦图像融合任务。随着对生成对抗网络研究越来越深入,GAN开始在图像融合领域得到应用,但是目前GAN在处理多聚焦图像融合任务时的单对抗损失会导致模型在学习过程中丢失部分细节信息。针对这一问题,提出了一种基于多损失的生成对抗网络模型。其能够加强模型对像素信息和结构信息的细节提取,优化生成器生成图像。通过实验证明在对抗损失中增加像素损失和结构信息损失的有效性和可行性,并且通过与现有的聚焦图像融合算法进行对比,证明提出的方法在多聚焦图像融合任务中也能取得很好的效果。
其他文献
随着移动通信的快速发展,移动通信已到5G时代并向着6G时代迈进,天线的尺寸减小至毫米量级,使得利用半导体工艺方法将天线与通信前端电路进行单片集成成为可能。当前片上天线的结构形式均局限在二维(2D)或二维半(2.5D)的空间内,衬底引入严重的寄生效应,天线的增益相对较低。这成为制约片上天线发展的瓶颈之一。因此针对上述问题,本文设计了一种基于自卷曲技术(Self-rolledup technology
学位
近年来,神经网络硬件加速器的性能迅猛发展。针对不同硬件平台,神经网络编译器将各个训练框架下的模型编译成中间表达结构,生成指令后映射。但随着神经网络的发展,网络复杂度的增加速度已经远远超出硬件在数据运算和访存性能的迭代速度,计算过程中数据访存次数指数性增加。编译器在内部优化器对单个算子性能进行优化已经不能解决昂贵的数据传输代价。研究发现计算图作为神经网络计算的高层次抽象表达形式满足需求,本文将神经网
学位
随着信息技术、传感技术、射频识别技术、嵌入式技术的不断发展,物联网的市场规模越来越大。然而网络信息泄露事件屡屡发生,针对硬件的侵入式攻击和半侵入式攻击方法都对物联网技术的发展提出了新的挑战,针对网络及系统层面的安全防护不足以应对硬件层面的侵入式攻击。故本文设计了安全存储器,适用于物联网领域的安全SoC芯片,具备硬件层面的数据安全存储功能。安全存储是安全芯片不可或缺的部分,也是本文的重点研究工作。为
学位
随着通信和多媒体技术日益复杂,对数据处理的要求越来越高。在数据运算中,超越函数因其计算的复杂性和工程应用中的必要性一直备受关注。Power函数作为超越函数的一种,是通信信号和处理器应用中的常用函数,在语音图像处理、机器学习、滤波技术等领域具有广泛的应用。常见的超越函数硬件实现算法存在精度低、存储资源消耗大、输入值范围窄等缺点。针对上述问题,本课题重点研究如何提升Power函数的计算精度、降低硬件资
学位
随着多核技术的逐渐成熟,对于片上网络数据交互的性能要求也日渐增多。由于传统数据传输模式在传输方式上过于单一,在数据交换过程中不能进行实时管理和监控,已不能满足日益增长的用户需求,因此需要研究新的数据通讯技术以满足更多的应用场景。采用更有效的数据传输技术,支持多个外部设备同时进行数据包接收和发送操作,满足多核DSP系统中大数据量的实时高效传输。针对上述需求,本文基于核间通信和数据交互的工作特性,提出
学位
目前芯片自身复杂度逐渐增大,其中包括芯片的功能愈加复杂,其制造工艺的愈加精细及其制造费用愈加昂贵,在芯片设计过程中任何存在设计错误的情况都不能进入流片,设计错误不仅会推迟芯片的上市而且带来的风险是不可承受的,因此在设计过程中需要选择合适的方法和工具。验证的目的是为了找出设计过程中可能出现的问题和错误,系统的验证对芯片流片成功起到关键性作用。随着通信技术的快速发展,图像的采集和传输受到广泛应用,但是
学位
相控阵技术具有灵活的波束赋形和波束扫描等特点,在雷达系统、导弹控制系统以及无线通信领域具有广泛的应用。近年来,随着硅基半导体工艺性能的不断进步发展,CMOS工艺凭借其低成本、低功耗、高集成度等优点,在毫米波领域受到越来越多设计者的青睐。此外,毫米波频段相较于低频,具有更大的通信带宽和容量。本文基于65nm CMOS工艺瞄准Ka波段相控阵系统,对接收链路中关键电路模块展开研究。低噪声放大器(Low
学位
现代无线通信领域中,零中频收发架构被广泛应用于射频收发机中。因其结构简单,占用资源少,集成度高,可靠性强等优势,得到了越来越多的专家和学者的研究和关注。因零中频架构中的I/Q两路所用的模拟器件不完全匹配,会出现正交支路和同相支路幅度和相位不平衡,导致信号出现镜像,称为I/Q不平衡问题,I/Q不平衡问题还受频率,环境温度等因素影响。本文针对频率无关的I/Q不平衡问题,在数字侧进行校准算法进行研究,并
学位
运动速度测量是目标运动参数测量中重要的组成部分,在工业检测、流体力学、空气动力学、军事目标测速等领域有着广泛的应用。随着图像感知技术的快速发展,基于高帧频图像的运动速度测量方法在高速运动速度测量领域发挥了重要作用。目前在速度测量领域存在计时器、GPS、雷达和光电等传统的速度检测方式,但在实际工程应用中,这几种速度测量方法都存在不同程度的局限性。例如高精度计时器的测量方法需要将计时器安装于被测物体上
学位
随着中国经济发展,城市汽车快速增加,为了有效利用城市的空间资源建设了大量的地下车库。地下车库封闭性强,缺少自然光,发生火灾后,人员疏散和救援困难,极易造成重大人员伤亡。目前国内外主要采取外部救援人员进入火场搜救的措施,效率较低,同时对搜救人员造成较大安全隐患。消防救援机器人是应用于消防领域的特种机器人,能够辅助甚至代替消防员进入危险区域进行灭火、救人等作业,现阶段已有部分产品应用到地下车库的火灾救
学位