基于深度强化学习的多模图像感兴趣区域配准算法研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:lequ123123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着成像传感器技术日新月异,单模态传感器的成像信息有时难以满足人们在新时代应用场景需求,多模态传感器成像系统协同应用逐渐发展成炙手可热的技术。不同模态传感器的协同应用,可实现不同模态传感器之间的信息互补,提高多模成像系统的探测性能。在应用工程研究中,针对红外和可见光图像融合的研究最为广泛且有重要应用价值。因为两种模态的成像信息优劣互补,可以获取丰富清晰且满足需求的目标信息描述。红外图像主要获取目标热辐射能量信息,却在纹理结构细节方面有所损失,而可见光图像以纹理细节见长。将红外图像和可见光图像精确配准,是实现这两种模态图像融合的前提条件,因此,展开多模图像配准技术研究,具有重要的研究意义。然而,在多模图像配准过程中,由于不同模态相机往往参数存在差异,使得人们时常面临两个问题:(1)物距不同的目标,其所在区域的配准参数存在明显差异,无法实现全局精准匹配,使得研究者的某些感兴趣区域配准失败。(2)对于图像配准的自适应实现需求。解决第一个的问题可以从硬件入手,匹配不同模态相机的内参外参,缺点是成本过高。也可以从应用目标出发,仅对感兴趣目标所在的感兴趣区域进行精准匹配,使得感兴趣的区域不因全局配准不统一而导致失配。解决第二个问题即研究自适应的配准方法,同时需要在客观的评价指标中占优。本文将围绕这两个技术问题展开研究。本文以红外和可见光图像作为多模图像配准的实验对象。首先,针对不同物距下的物体配准参数差异问题,将目标检测与图像配准相结合,以人体为感兴趣目标,人体所在小区域为感兴趣区域展开研究。其次,针对自适应配准问题,本文研究了掩膜提取与深度学习特征点匹配相结合的方法,采用深度学习特征提取技术标记增强特征点,基于不同图像的掩膜,剔除背景中无效关键点,进一步提高特征点的匹配精度。将正确匹配的特征点对用于单应性参数计算,实现图像的初步配准。针对初步配准结果,其配准评价若相较原始图像对重叠而言效果有所提升,则利用强化学习进行配准修正,实现深度学习和强化学习结合参与精细化配准。若配准评价下降,则将相对应的多模图像感兴趣区域以重合的形式,直接进行强化学习配准,牺牲配准时间以求配准成功。
其他文献
我国城市文化遗产丰富,遗产保护由来已久,但方式方法各异,保护状态堪忧;近年来,文化遗产旅游地作为城市历史文化遗存保护的重要载体与活化利用形态,倍受关注和广为实践,然而距离文化遗产的科学保护与永续利用的目标要求仍任重而道远。为此,本文将遗产保护和永续利用的现实需求与文旅产业的发展实践相结合,试图建立遗产保护与活化利用的耦合协调评价模型,初步构建基于生命周期理念的文化遗产保护与利用的思路与方法。论文主
学位
本文设计了一种小型化宽频带的对周天线。采用对数周期天线设计的基本原理和电磁计算方法,结合末端振子加载的方式,达到缩减尺寸的目的。设计工作频段在200MHz~3000MHz的宽带对周天线,并利用Ansys公司的HFSS电磁仿真软件进行建模、仿真、分析和优化。仿真结果显示,设计的对数周期天线在工作带宽内具有理想的增益和驻波比。
会议
频控阵(Frequency Diverse Array,FDA)是指在相控阵(Phased Array,PA)的基础上,在相邻阵元之间引入一个频率增量,这使得其波束携带了距离信息。将FDA雷达与多输入多输出(Multiple Input Multiple Output,MIMO)技术相结合,就形成了FDA-MIMO雷达的概念。运动目标检测一直都是雷达领域研究的重点。因此,本文围绕这一问题,从常速运
学位
目的 探讨circ_0081666对非小细胞肺癌细胞增殖、迁移和侵袭的影响及分子机制。方法 选取30例非小细胞肺癌患者癌组织及癌旁组织;A549细胞分为si-con组(转染si-con)、si-circ_0081666组(转染si-circ_0081666)、pcDNA组(转染pcDNA)、pcDNA-circ_0081666组(转染pcDNA-circ_0081666)、miR-con组(转染m
期刊
在过去的近十年里,研究人员已经发明了许多室内定位算法,并且人们的出行以及日常生活也离不开移动终端的携带,因此面向移动终端的行人室内定位方法近年来被研究学者们广泛关注。如三边测量、位置指纹、行人航位推算(Pedestrian Dead Reckoning,PDR)等。然而,各种各样的定位技术都存在它们的瓶颈,目前的技术仍然难以解决室内场景下的部分定位问题。基于接收信号强度指示(Received Si
学位
吸热器与储热器是聚光太阳能热发电系统的重要部件,而一体式光热吸储单元结合这两个部件的功能于一体,可起到减少系统复杂性及降低成本的作用。本文研究对象是一种应用于二次反射塔式系统的一体式光热吸储单元,该吸储单元由腔体吸收器与岩石填充床储热器组成,传热流体为空气。应用Fluent软件,采用标准k-ε湍流模型及多孔介质模型,开展了储热8 h与放热16 h的24 h连续运行过程模拟,从流场分布特征、温度场分
学位
随着电站信息化的发展,辅机设备运行数据得以保存和使用,挖掘运行数据中蕴含的设备运行特性并建立状态监测模型,对保障设备的安全经济运行具有重要作用。本文以电站辅机设备运行数据为基础,对电站辅机设备建模与监测方法进行研究,主要研究内容如下:针对辅机设备多模态运行过程,提出一种基于引力搜索鲁棒高斯混合模型算法的建模与监测方法,首先采用REM算法对稳态历史数据进行训练,求解RGMM模型参数,并计算监测指标限
学位
近些年来,现场可编程逻辑阵列(FPGA)被广泛使用在我国的民用和军事领域,其安全性逐渐引起人们的重视。FPGA中插入的硬件木马具有很强的破坏性,它可以破坏电路的功能、影响产品的可靠性、泄露用户的隐私。因此,在硬件安全中,对硬件木马的威胁分析和检测的研究至关重要。目前,检测方法主要是针对网表形式的设计电路,然而FPGA用户获得的只有二进制形式的比特流文件,很难检测内部的硬件木马。逆向工程利用比特流文
学位
燃烧广泛存在于日常生活和燃气轮机、内燃机、电站锅炉、航空发动机、火箭发动机等工业生产过程中,火焰三维温度场测量有助于了解燃烧火焰温度分布规律,探索物理作用过程和化学反应机理,评估燃烧效率,进而对燃烧装置进行评价和改进。光场成像可以实现火焰三维温度场的重建,然而现有基于光场成像火焰温度场重建算法计算量大、效率低,为此本文提出一种基于卷积神经网络(CNN)的火焰三维温度场重建方法,并开展了模拟研究以及
学位
随着人们生活水平的不断提高,建筑运行能耗增加与能源供应紧张的矛盾日趋显著,在提高新建建筑能效水平的同时,对面广量大的既有建筑进行节能改造,尤其是占建筑能耗50%以上的空调系统的节能改造变得尤为迫切。既有建筑空调系统中常用的冷水机组+锅炉方案存在冬季使用天然气,一次能源综合利用效率低,运行费用高等不足,采用电力驱动、冬夏季双高效的热源塔热泵可作为既有建筑中冷水机组+锅炉的冷热源节能改造潜在方案,同时
学位