基于可微整数线性规划的深度图匹配模型研究

来源 :桂林电子科技大学 | 被引量 : 0次 | 上传用户:xixicoco606
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图匹配旨在建立两个图之间的结点映射关系,是一个经典的NP难组合问题。近几年,大量的研究者开始借助深度学习技术来构建端到端的可训练架构,以此对图匹配问题进行求解。这一端到端的管道架构被称为深度图匹配模型,其包含两个重要模块,图表示学习模块和图匹配问题求解器。然而,在目前深度图匹配模型研究中,存在着两个待解决的重要问题。第一,主流的深度图匹配模型通常对图匹配问题进行连续松弛,以使得模型可以基于梯度下降法来优化可训练参数。但是目前没有研究说明,基于学习的求解技术是否应该对图匹配问题进行连续松弛,以及图匹配问题的求解质量与模型的匹配精度存在什么联系;第二,图表示学习模块对手工构造的简单图的学习能力有限,导致结点的嵌入表示可区分性差,使得结点亲和力度量不准确,最终导致模型的匹配精度受损。本文的研究内容围绕着深度图匹配模型的两个重要模块开展,并针对上述两个关键问题,结合整数线性规划和图表示学习技术,研究基于可微整数规划的深度图匹配模型。同时,本文以关键点匹配任务为应用背景,定量地评估本文研究工作的有效性。具体研究内容和主要贡献如下:(1)本文首先对深度图匹配模型中的松弛图匹配方法展开分析和研究,提出了两个重要猜想。第一,深度图匹配模型的输出与图匹配问题的最优解是等价的,都是描述目标之间的真实映射关系。第二,图匹配的连续松弛会损失图匹配问题的求解精度,而这种损失是难以通过图嵌入技术弥补的。通过三个实验对上述两个猜想进行了验证,其结果表明图匹配问题的求解质量与模型的匹配精度呈正相关。并且,由于应用了图嵌入技术学习结点的高阶嵌入表示,降低了结点相似性度量的难度,因此适当的放松图匹配的约束条件是可行的。(2)在研究(1)的基础上,本文给出了精确求解图匹配问题的MILP公式,并设计了一个可微整数线性规划求解器(DIP)进行求解。该求解器通过质量感知求解算法对MILP公式进行计算,然后借助隐式插值技术来构造有意义的梯度信息,以实现将其作为黑盒嵌入到可训练的网络架构中。为了检验DIP的有效性,同时验证(1)中提出的两个假设,我们为现有模型装配上该求解器,并称这一改装后的模型为DIP-GM。实验结果表明DIP具备可扩展性,可以在网络训练中作为黑盒使用,并且提高了深度图匹配模型的匹配精度。(3)经过(1)(2)的研究后得知,深度图匹配模型的匹配精度极大程度地依赖图表示学习模块的特征学习能力。因此,本文从提升图表示学习模块的学习能力出发,设计了一个基于自注意力机制的图嵌入网络GSAN。该网络由空间编码器和多头注意力机制组成。首先,网络使用空间编码器将结构信息嵌入到结点的表示向量中,然后,利用多头注意力机制学习所有结点之间的关联性,以细化结点特征。同时,为了增添更多的全局信息,我们还引入结点介数作为补充特征。(4)整合上述三项研究工作,本文最终设计了一个基于可微整数线性规划求解器的端到端可训练架构,称之为GSAN-GM。GSAN-GM首先使用GSAN进行图嵌入,获得结点的高阶嵌入表示。接着根据得到的结点表示向量构建边的表示向量,并进行结点亲和力度量和边亲和力度量。最后,利用求解器求解图匹配问题,并将得到的解作为模型的结果返回。本文在两个公共图像数据集上训练和验证GSAN-GM的有效性,其结果表明不仅具有跨类别的泛化能力,还能够处理大小不同的输入图。同时,GSAN-GM的平均匹配精度超过了大多数的深度图匹配模型,并且在自行车、公共汽车、桌子等多类任务上的匹配精度优于最先进的匹配精度。
其他文献
随着定位技术的广泛使用,轨迹数据呈现爆炸式增长,并产生了以轨迹流形式收集的海量时空数据,如何从轨迹流中挖掘有用的信息是当前对时空数据研究的主要问题之一。从轨迹流中挖掘伴随模式是指在同一时间发现具有高度相似行为的群体,对于交通管理、推荐系统的实时应用至关重要。然而,现有的研究成果在实时数据响应方面存在效率不高的问题,难以满足现实应用的需求。本文针对轨迹流的伴随模式挖掘展开了深入的研究,主要研究成果如
学位
随着科技的进步,在人工智能与大数据的时代背景下,深度学习在计算机视觉领域中获得了巨大成功。目前,正常光照下目标检测任务已经得到了蓬勃发展,但是低照度下目标检测任务仍面临众多挑战。由于光照不足,图像成像质量不高,容易受到背景和噪声的干扰,所以细节信息严重丢失难以达到人们预期的要求。本文,利用YOLO算法并结合注意力机制作为关键技术来研究低照度下的目标检测,最终在减少训练参数的前提下,检测到了低照度下
学位
图像超分辨指的是从低分辨率图像(Low Resolution Image,LR)中恢复出对应的高分辨率图像(High Resolution Image,HR)的过程。视频和图像已经成为现代人们接触世界的重要媒介,且图像技术在现实生活中也具有广泛应用,例如医学图像、监管与安全、短视频等。由于这些应用对图像清晰度要求较高,通过硬件设备提升分辨率的代价较大,且问题的不适定性增加了解决问题的难度,从而给出
学位
岩体是在长期复杂的地质作用条件下,自然形成的一种具有复杂结构的地质材料。岩体内存在着大量在自然环境下产生的节理、裂隙和夹层等天然软弱构造面。其中,节理作为一种典型的软弱结构面,广泛分布于岩体材料中。在工程荷载的作用下,节理面上可能会发生裂纹萌生、扩展和合并等现象,导致岩体工程的灾难性破坏。以往岩石力学的研究更关注于完整或含缺陷(断续节理)岩石在静态下的力学性能,而非具有贯通型节理的岩体。本文选制花
学位
海岸带地质灾害严重影响了沿海地区的发展。为分析国内外海岸带地质灾害风险评估研究现状、发展态势及为我国在这一领域内的科研及防灾减灾等工作开展提供借鉴,本文以Web of Science和中国知网数据库中的相关文献为基础,运用CiteSpace软件对该领域的国内外发文量、发文国家和关键词进行知识图谱分析,探讨其研究热点及演变趋势。研究结果表明:(1)国内外研究均呈增长趋势,我国是该领域主要发文国家之一
期刊
当今社会生产生活中,众多领域都将计算机视觉技术运用到了实际当中,如视频监控、机器人探测以及无人机侦察等。目前已有大量工作对正常照度目标检测技术进行了研究,但对低照度图像目标检测的研究却很少。在整体光照不足或局部光照不均的场景下捕获的图像普遍存在照度偏低、对比度不足和细节信息严重丢失等问题。这些问题致使低照度图像无法包含足够的信息量,同时低照度图像捕获条件相对苛刻,且目标标注难度较大,需要耗费大量的
学位
本文主要以课堂实践案例“探秘二分法”为例,界定和探讨了深度学习视域下的高中信息技术学科项目化学习,并从特点、目标、内容、过程、评价等方面逐一进行了剖析。
期刊
<正>该模式不再是简单地开设专区,而是从系统、从支付角度进行改革,解决药店集采药品进价高、进货难、无处方等问题,药店将深度参与集采。国家组织药品集中采购虽已走过三年历程,但目前基层定点医药机构集采药品、国家谈判药品配备率低,无法满足基层群众购药需求。为打通集采药品和国家谈判药品落地的“最后一公里”堵点,5月中旬,江苏省医疗保障局发布《2022年度江苏医保民生实事项目》,列举了12条惠民便民措施。其
期刊
肺癌是一种发病率高且死亡率高的恶性疾病。作为肺癌的一种早期症状,肺结节的出现预示着肺部细胞正在逐渐发生癌变。肺结节一般为椭圆形或不规则球形,不同大小、形状、密度分布、生长速度的肺结节对应着不同的肺癌发病率,因此,针对肺癌的早期诊断,肺结节检测是一种有效的方法。利用计算机进行肺结节检测方法的设计与优化一直是各领域专家学者不断探索的方向,它能够缓解因医生人工分辨而带来的医疗资源紧张的问题。随着深度学习
学位
从目前大同发掘出土的元代墓葬及壁画来看,以水墨山水特征为主的元代壁画与题材多样的辽金壁画呈现出完全不同的表现风格。大同地区墨色系壁画的流行与当时的绘画风格、宗教思想以及高压政权下的士人情感寄托有着必然的联系。墨色系壁画的出现与兴盛是汉族人士对世俗社会不公待遇的无声抵抗,也是他们表达内心愤懑情感的重要方式。
期刊