基于深度卷积网络的异源图像配准

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:yellowerriver
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来随着成像技术的发展,获取图像的手段和途径也更加丰富。不同传感器获取到的异源图像有各自不同的优势,同时也有各自的局限性。同时利用多种异源图像可以有效提高计算机视觉中许多任务的效果。在实际的任务中能够使用异源图像的前提是需要对异源图像进行配准,图像配准的精度会直接影响下游任务的效果。因此,实现高精度的异源图像配准有着非常重要的意义。在异源图像配准中,除了传统图像配准中的视角、旋转、剪切变化之外,还有由于成像原理不同带来的图像外观风格差异的问题。本文针对异源图像配准问题进行了研究,主要内容如下:1.基于特征分解模型的异源图像配准。针对异源图像中语义信息与模态信息混叠导致难以提取到判别性描述子的问题,本文提出了一种特征分解网络模型FDNet。该模型将图像块的特征分解为共有特征和私有特征,在特征匹配阶段只使用共有特征进行匹配以剔除私有特征的干扰。在FDNet的优化中使用匹配学习、对抗学习和重构学习。匹配学习通过困难样本挖掘策略和三元组损失函数优化网络,使得网络可以提取到具有高度判别性的描述子。对抗学习通过对抗训练来约束异源图像共有特征的一致性。重构学习旨在保证学习过程中图像特征的完备性,确保在特征分解过程中没有信息被丢失。实验结果表明该方法有效提升了异源图像块匹配和异源图像配准的效果。2.基于深度回归的异源图像配准。基于关键点的图像配准方法依赖于关键点的数量、质量和描述子的质量。当关键点的数量和质量受到影响,配准的效果将会大幅下降。基于回归的图像配准方法利用整幅图像进行回归,最终计算出变换参数,不受关键点数量和质量的影响,因此本章使用基于回归的方法进行配准。但是由于异源图像强度分布差异巨大,导致基于回归的方法收敛缓慢且难以得到较为精确的结果。针对该问题,本文提出了一种基于深度回归的双阶段配准模型THNet。首先在阶段一中使用一个较浅的网络对待配准图像和参考图像进行一次粗略的回归,利用回归的结果对待配准图像进行校正。将校正后的结果与参考图像输入第二阶段的深层网络继续进行回归,最终得到精确的回归结果。实验结果表明,THNet在异源图像配准中取得了显著的效果。3.基于全局注意力的异源图像配准。卷积神经网络(Convolutional Neural Network,CNN)有助于提取到图像的细节、纹理特征,但是其只能关注到局部的图像信息。由于遥感图像内容的局部相似性,仅关注局部特征可能对估计角点偏移量带来误差。针对该问题,本文提出了一种融合局部信息与全局上下文信息的网络结构SHNet来进行异源图像配准。首先,利用浅层网络进行一次粗略回归,利用回归的结果对待配准图像做一次校正。然后将参考图像与校正后的待配准图像输入阶段二的深层网络,在阶段二的网络中,CNN分支负责提取图像的局部特征,transformer分支负责提取图像的全局特征。然后利用特征融合模块将局部特征与全局特征融合后进行回归预测。实验结果表明,SHNet进一步提升了异源图像配准的效果。
其他文献
近年来钙钛矿太阳能电池(Perovskite Solar Cells,PSCs)因其高效率、低成本、与柔性衬底兼容等优势而备受关注,目前影响PSCs商业化的因素主要包括:能量转换效率(PCE)、稳定性、规模化制造、铅毒性等。而钙钛矿/电荷传输层界面载流子输运是制约PSCs效率和稳定性进一步提升的关键因素之一。新型二维材料Ti3C2Tx(T:-OH、-O、-F)MXene具有电导率高、比表面积大、电
学位
随着科技的飞速发展,可移动电子设备的数量急速增长,传感器的分布也愈加广泛。传统的供电方式存在诸多限制,因此需要一个持久的、免维护的、自驱动的能源来为这些设备供电。摩擦纳米发电机(TENG)是一类利用摩擦起电原理与静电感应原理设计而成的能量转换器件,能够把周围环境中的机械能汇集起来,成为自驱动传感器的能量来源。它的优势有选材范围广、小巧便携、制造简单等,是一种应用前景广阔的新型能源设备。TENG摩擦
学位
超级电容器作为一种新型的环保高效的储能装置,因其具有工作温度广泛、快速充放电和超长循环使用寿命等优点,在许多需要高功率和快速传输的领域得到广泛应用。电极材料在很大程度上决定了超级电容器的储能性能,本论文选取钒酸镍(Ni3V2O8)作为研究对象,研究其作为赝电容电极材料的电化学性能,由于受其自身结构的限制,Ni3V2O8存在电导率较低和电化学稳定性差等特点。研究表明,对于赝电容电极材料获得具有高比表
学位
有机无机卤化物钙钛矿由于其激子结合能低、载流子扩散速度快、扩散距离长、高吸收系数和宽吸收窗口,在短短十余年间,钙钛矿太阳能电池的纪录效率从2009年的3.8%提高到2021年的25.7%。为了提高钙钛矿太阳能电池(PSC)的效率和稳定性,世界各国的研究人员在进行了不懈的努力。本文引入了疏水钝化剂钝化钙钛矿薄膜缺陷并改善了器件稳定性,利用种子诱导钙钛矿晶体生长提升器件性能与稳定性。(1)引入了一种有
学位
超级电容器由于具有高功率密度和快速储存、释放能量的能力,使其得到广泛的研究。而镍基硫化物/氧化物作为超级电容器的电极材料,由于能够在不同价态之间进行快速、可逆的充放电反应,具有高比电容性能,且资源丰富,环境友好等优点成为人们研究的重点。本课题系统研究硫化钴镍、钴酸镍和钴酸镍/硫化钴镍复合材料的制备工艺、微观结构和电化学性能,探索影响硫化钴镍、钴酸镍和两者复合材料的形貌和电化学性能的因素,阐明结构和
学位
报纸
在信息化时代,最先需要解决的就是对信息的掌握。相对于人体和动物的感觉器官而言,被称为“电子五官”的传感器能获取更准确、更可靠的信息。摩擦纳米发电机(TENG)作为一种新型的自驱动能量收集装置,可以为分布式的传感器和微型电子器件供电,也可以作为传感器的载体通过其输出信号的差异反映外界环境的变化。本文设计了一种以接触-分离式TENG为基础结合ZnO紫外传感特性的摩擦电紫外传感器,它是摩擦纳米发电机与紫
学位
近年来,城市垃圾及废水中硝酸盐含量的逐步增多和现代化农业含氮化肥的过量使用,造成硝酸盐污染的问题日益加剧,严重威胁了人体健康。虽然工业上采取了多种硝酸盐的处理方式,但普遍存在处理效率低、成本高且存在二次污染的问题。电催化还原硝酸盐作为一种具有较大潜力的硝酸盐处理技术得到了科研工作者的广泛关注。电催化还原硝酸盐的产物主要有N2、NH3、N2O等。NH3作为电催化还原硝酸盐的一种增值产物具有重要的研究
学位
United States President Donald Trump’s fiery rhetoric has increased the salience behind trade imbalances,pushing the United States towards newly-founded trade conflicts.Longstanding unilateral policy
学位
氮化镓(GaN)基高电子迁移率晶体管(HEMTs)具有高效率、高频率以及高功率等优点,广泛应用于功率放大器中。随着通信技术的发展,射频收发系统对功率放大器的线性度要求越来越高,传统GaN基单沟道HEMTs器件跨导下降较快、栅压摆幅较小,其线性度已经无法满足人们对功率特性的需求,因此对高线性GaN基HEMTs器件的研究成为人们关注的焦点。GaN基双沟道HEMTs器件拥有更宽的栅压摆幅,能够实现更高的
学位