基于协同图学习的RGB-T图像显著性检测研究

来源 :安徽大学 | 被引量 : 0次 | 上传用户:lijian6185
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像显著性检测是计算机视觉和多媒体领域的研究热点,融合互补的可见光和热红外图像进行图像显著性检测已成功应用于许多计算机视觉任务中,例如目标跟踪、行人重识别等。可见光-热红外(RGB-T)图像显著性检测旨在使用热红外图像辅助可见光图像进行显著性检测。但是在显著性检测任务中存在着大显著目标内部缺失外观一致性、目标接近图像的边界以及配准RGB-T图像时会在边界产生噪声等问题。针对这些挑战,现有的RGB-T显著性检测方法采用了传统的图模型,然而这种固定不变的图只包含局部的信息,而忽略图节点之间内在的联系,导致不能很好的捕捉到图像的外观信息。本文针对上述问题开展研究,构造了一个新的RGB-T图像显著性检测标准数据集,并且提出了两种基于协同图学习的RGB-T显著性检测模型。第一,贡献了一个更具有挑战性的标准数据集,由于当前可见光和热红外图像显著性检测数据集的稀少,故为了更好的检验所提出模型的鲁棒性,本文考虑了RGB-T图像面临的多种复杂挑战因素,构造了一个包含1000对空间对齐的RGB-T图像对以及对应的真值标注的RGB-T图像显著性检测数据集。第二,提出了基于多尺度协同图学习的多模态多尺度种子节点优化排序算法,用于RGB-T图像显著性检测。首先给定一组初步对齐的可见光和热红外图像,将它们联合分割成一组多尺度的超像素。然后将这些超像素作为图节点,并执行多模态多尺度流形排序以实现显著性计算,其中进行跨模态和跨尺度的协同合作有利于去整合不同模态的各个尺度的信息。同时为了处理由于显著物体和配准导致的排序种子(即边界超像素块)的噪声干扰,还引入一个中间变量来推断最佳排序种子,并将其表述为稀疏学习问题。最后,通过使用联合的交替方向乘子算法(ADMM),在一个联合的优化框架下来求解排序模型。在基准数据集上进行的大量实验表明,相对于其它最新的RGB-T图像显著性检测方法,该模型取得了较好的性能。第三,提出了基于多特征协同图学习的RGB-T图像显著性检测模型。一方面,在以往的方法中,图是固定不变的,只考虑局部的邻居节点,并且无法捕捉到图节点更多的内在联系。另一方面,先前的方法基于传统的手工特征来构造图,显著性计算与其是独立计算的过程。为了解决上述问题,我们首先将输入的可见光图像和热红外图像共同分割成一组超像素,对每个模态的超像素块提取多层次的深度特征,并以此作为图节点。然后,该模型在一个联合优化框架下协同使用各层的深度特征学习图的亲和性和节点显著值。在目前存在的RGB-T数据集上的实验证明提出的协同图学习的方法和最新的RGB-T显著性检测方法相比,取得了更好的结果。
其他文献
荒漠化破坏了生态系统的平衡,研究荒漠化的成因进而控制荒漠化是必要的,但是由于沙漠地形复杂,气候恶劣,现有的技术设备受到环境的限制,为了解决这一难题,研究一种能够在沙漠环境中快速移动的机器人变得十分迫切。本文将轮式机器人与足式机器人的优点结合,研制出一种月牙轮六足仿生机器人,同时,在嵌入式设备上应用了深度学习框架,使机器人能够更好的适应沙漠环境。首先完成机器人腿部构造、传动装置、整体布局的设计,腿部
磷是人类生产生活中必不可少的元素,磷素的获取必须经过磷酸盐的溶解。现行磷酸盐的溶解大都通过湿法磷酸工艺,但是湿法磷酸存在高能耗、高污染以及资源浪费等严重问题,开发
推进教学改革,落实习近平总书记讲话精神,全学科开展思政理论教学,"立德树人"。以此为出发点,阐述小学英语课程思政的必要性。让学生在学习西方文化精华的同时摒弃糟粕,提高
MicroRNAs(miRNAs)是一类非基因编码小分子RNA,在基因转录后水平发挥了调控基因翻译表达的重要作用。它通过碱基互补配对的生物学方式有效地诱导靶点mRNA(信使RNA)的降解或抑制mRNA的翻译和表达。最近的一系列研究表明,miRNA在细胞的生命历程、器官的生长发育等多种生物学过程中发挥着重要的调控作用。因此,miRNA的异常调控也导致了许多复杂人类疾病的发生和发展。为了有效克服传统生
光纤技术和光时域反射技术的发展奠定了分布式光纤传感技术的基础,分布式光纤传感技术在温度、应变以及振动的长距离测量中尤为突出。传统的电子传感设备由于其固定的点式传感特征,使得测量存在盲区且易受电磁干扰等。而分布式光纤传感系统具有重量轻、体积小、长距离、抗干扰性强等优点,在电厂火灾报警、桥坝缺陷故障检测以及矿井安全监测等场景有着非常广泛的实际应用。如今,分布式光纤传感温度及应变测量多采用以布里渊散射效
时间序列是数据按照时间先后顺序排列而成的集合。研究时间序列的目的是寻找数据间的时序联系,根据已知的历史数据对未来数据进行合理地预测。近年来,基于机器学习的时间序列建模及预测受到研究者的关注,神经网络、支持向量机等学习模型已经广泛应用于时序数据的研究中。以现有研究为基础,本文运用元认知和直觉模糊神经网络对时间序列问题进行讨论。基于时间序列的特点,对学习模型的构造方式及学习算法的适用范围等问题展开探索
为探明西北半干旱区典型沙生植物油蒿(Artemisia ordosica)叶水分利用效率(WUE)动态变化及其对环境因子的调控响应机制,本研究于2018-2019年生长季,使用LI-6400XT便携式光合仪,测
高强钢因其轻质、强度高、施工便捷和绿色环保的优点而被广泛的应用于结构工程中。采用高强钢可以有效减小构件截面尺寸,减轻结构自重,节约材料的消耗。目前,高强钢除了通过
随着社会经济和科学技术的发展,现代建筑规模越来越大,结构越来越复杂,功能也越来越强大,购物广场,办公写字楼,医疗和科教中心等大型公共建筑急剧增加。大型公共建筑往往人口稠密,内部结构各异,功能多样。即使有的场所设置楼层分布图,然而还是会有一部分人因为迷路找不到地方。在这种情况下,如果发生火灾,地震,天然气泄漏等突发性灾难,由于人们面对灾难时恐慌的心理,以及缺乏有效的疏散指导,将会导致建筑内的人群疏散
注水开发是油田普遍采用的一种方式,现阶段,我国许多油田已步入特高含水期,单井日油和采油速度急剧下降,注入水地下存水率越来越小,特高含水期水油比急剧增大,阶段水驱油效果