基于深度学习的图像配准

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:dapeng0429
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像配准是将不同时间、不同传感器(成像设备)或不同条件下(气候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程,它已经被广泛地应用于遥感数据分析、计算机视觉、图像处理等领域,该任务对3D重建、宽基线立体匹配、视觉定位、图像检索和变化检测等很多计算机视觉任务都非常重要。传统方法如SIFT、SURF等使用手工设计的特征进行匹配,对旋转、尺度、亮度等变化具有不变性,取得较好的匹配性能,目前仍广为流行,但对大视角、图像像素强度差异大的场景匹配具有一定的局限性。近年来,深度学习技术的迅猛发展也使得基于深度学习的图像配准技术得到越来越多的关注并取得一定的进步。本文重点关注基于深度学习的端到端图像匹配技术和图像块匹配算法的研究。针对图像配准中的关键点检测、描述子提取等重要步骤,本文研究了基于深度学习的端到端图像配准技术、图像块匹配和异源图像块匹配技术。本文的主要工作如下:1.提出基于Transformer的可靠性区域选择的端到端图像匹配。该方法同时考虑关键点的不变性和描述子的判别性,使用不同层级的特征以降低两个任务的耦合。同时提出一种简单的可靠性图的计算方式,并设计新颖的可靠性损失进行优化。提出使用可靠性区域关键点进行训练和测试,实验表明该方法可有效提高图像匹配性能。2.提出在R2D2模型的基础上对描述子特征和可靠性图的学习进行分离,并从损失函数优化的角度提出困难样本挖掘策略,提升网络优化性能。为了增强关键点的可重复性,提出结合使用手工特征和深度特征学习可重复性更高的检测器。实验表明该算法可有效提高图像匹配任务的性能,并通过图像配准任务验证该算法的适应性。3.提出基于交叉注意力的度量学习网络。通过引入跨图像块间的交互注意力,融合图像块间的直接特征关系和交互特征关系进行相似度学习。在同源和异源等多个数据集上进行图像块匹配实验验证了该算法有效性,并在异源光学和SAR数据上进行图像配准实验验证算法适应性。但该方法的计算复杂度较高,配准速度慢。
其他文献
航空发动机是衡量一个国家国防实力和科技水平的重要标志,涡轮叶片处于发动机中温度最高、应力最复杂、环境最恶劣的部位,涡轮转速可达10~5rpm,燃气气流速度高达150m/s,涡轮前进口温度高达2000K,故叶片是发动机中的最关键部件之一。叶片所处环境呈现出的超强场、超载流和超速率的极端性,使得叶片极易发生疲劳失效等问题,进而威胁飞机的安全工作。因此,分析涡轮叶片在多场载荷耦合作用下的应力响应有重要意
学位
随着以氮化镓(Ga N)材料为代表的第三代半导体器件工艺革命,大功率半导体迎来了前所未有的迅猛发展时期。为对Ga N器件开展全方位研究,大功率工作环境带来的器件非线性行为就必须给予重视,精准的大功率半导体非线性建模与表征因此具有重要意义。传统S参数的表征和建模方法已不能完美描述器件在大信号激励下产生的谐波、压缩和互调等非线性行为——小信号S参数只能建立器件在小信号激励下近似线性的行为模型,而那些基
学位
<正>作者:余党绪ISBN:978-7-5720-1863-3出版社:上海教育出版社版次:2023年3月第1版定价:68元《红楼梦》整本书阅读,通读不易,理解很难,时间有限,要求不低。这就需要教师有合理的课程与教学设计,以精要的教学激发学生的阅读兴趣,达成对《红楼梦》的“整本书”的基本理解。余党绪老师将此概括为“按照整本书的规律教,教出《红楼梦》的个性来”。
期刊
针对电磁阀阀体及挡铁过盈装配合格率低的问题,从过盈装配关键工艺参数确定以及装配工艺方法两方面开展了过盈装配工艺技术优化研究。从过盈配合影响因素入手,根据电磁阀工作机制分析其物理及几何结构,并对过盈装配过程进行理论计算,从而给出过盈量选取的理论指导。同时根据某型号电磁阀结构设计工装,对比冷压装配法以及温差装配法的压装曲线,并对压装后的结构可靠性进行分析,发现温差装配法比冷压装配法具有较高的稳定性及可
期刊
随着互联网技术的飞速发展,丰富多彩的新媒体平台和社交平台成为了我们日常生活中不可或缺的重要组成部分。这些平台每天都在产生巨量的非结构化文本数据,处理这些数据并从中提取有价值的信息进而构成知识体系,往往需要耗费高昂的人力和时间成本。因此,如何利用计算机技术帮助用户自动化地快速从海量文本数据中获取感兴趣的信息成为了自然语言处理领域的研究热点。事件抽取是自然语言处理领域的一个子任务,主要目标是从非结构化
学位
《红楼梦》是一座无尽的宝藏,博大精深,择定教学内容非常重要。教学内容宜简不宜繁,宜小不宜大,宜“语”不宜“它”。同时要边阅读边赏析,有效处理好语文课程和思政教育的关系。
期刊
求解电大尺寸载体平台上天线的辐射问题向来是计算电磁学领域的关键主题之一。然而,天线的复杂性和载体平台较多的未知量使得对该问题的求解十分具有挑战性,针对上述问题求解所面临的困难,本文引入等效源方法将其近似为一个等效型问题,即先对天线部分进行求解,得到单独天线的近场或远场,再根据已知近场或远场来计算待求解区域的场值。本文基于矩量法获得的等效源利用近远场变换技术研究了以下三种类型的等效源:研究了平面波谱
学位
在互联网浪潮的推动下,海量数据作为一种新兴的重要资源,已成为促进社会发展的关键基石。而海量数据所带来的挑战是如何有效地存储、挖掘和处理它们。矩阵作为数据挖掘和机器学习领域常见的数据组织形式,对这些大数据背景下的高维矩阵进行降维处理具有重大意义。非负矩阵分解(Non-negative Matrix Factorization,NMF)作为一种新的维数缩减方法,不仅可以通过低秩逼近的方式挖掘高维数据的
学位
《红楼梦》整本书阅读教学,不仅要贯彻新课标精神,还应汲取已有的经典阅读教学的经验。作为复杂大文本,《红楼梦》整本书阅读对高阶思维与深度学习提出了现实的要求。培养学生阅读《红楼梦》的兴趣,教授相应的阅读方法,只有在真实的阅读中才能达成。《红楼梦》整本书阅读教学应立足于宏观与总体的把握,关注通识性与共识性的理解,重在基础,重在常识。在教学上,要尊重整本书阅读的规律,尊重《红楼梦》的文本个性,在满足公共
期刊
高光谱图像分类是遥感图像处理领域中具有挑战性的课题之一,能有效实现地物的精细识别。然而,有限的训练样本极大制约了高光谱图像的分类性能。生成对抗网络(Generative Adversarial Networks,GANs)因其强大的生成能力而闻名,它通过生成器和判别器的对抗优化,迫使生成器学习真实样本的分布,从而获得高质量的生成样本。同时,判别器也在不断的判别过程中提升了分类能力。因此,GAN被应
学位