基于特征融合的RGB-D视觉显著性物体检测算法研究

来源 :中国科学院大学(中国科学院长春光学精密机械与物理研究所 | 被引量 : 0次 | 上传用户:chenhaun0702
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视觉显著性物体检测是当今计算机视觉领域的一个重要研究方向,其核心任务是通过模拟人类的视觉注意机制,从复杂的视觉场景中快速定位到最具有价值的区域,有选择地过滤掉其它非重要信息。该技术的这种特性使得它在现实生活中有着非常广泛的应用价值,如,自动驾驶、人机交互、智能监控、目标跟踪、环境感知等。近年来,随着深度传感器设备的快速发展和普及,人们可以很容易地获取场景中的RGB信息和相应的深度数据。以此为契机,更加符合人类视觉感知系统的RGB-D视觉显著性物体检测逐渐成为研究的焦点。然而,受制于深度成像技术和环境光照变化等影响,获取的深度图质量往往参差不齐。这使得如何减小低质量深度图的干扰,有效利用具有丰富空间结构的深度信息,成为该领域的一大研究难点。此外,受益于深度学习在计算机视觉领域上的突破性成果,采用深度学习进行RGB-D显著性检测逐渐成为该领域的主流方向。尽管深度学习在该领域取得了巨大的进展,但是也面临着另一大挑战,即大多数现有的显著性检测方法往往以较高的计算成本和参数量为代价获取高精度的检测性能,严重制约了算法的实际应用。因此,提高多模态特征的融合质量以及构造轻量级的显著性检测模型具有重要的研究意义。本文以探索更加符合人类双目视觉感知机理的RGB-D显著性检测模型为主要目标,针对显著性模型构建过程中的多模态特征有效提取和融合优化,以及模型轻量化等问题,进行了一系列相关研究。本文主要的工作内容及创新性研究成果具体总结如下:(1)针对传统基于手工设计特征算法的多模态特征融合不充分问题,以及边界接触问题,提出了一种基于深度信息引导的双边吸收马尔可夫链的多阶段显著性检测模型。该模型从低、中、高三个层次逐步整合优化颜色和深度信息,提取显著性线索,充分利用了深度信息的显式和隐式属性。具体地,模型首先显式地结合颜色和深度信息以构建初始的二阶稀疏图,并基于背景先验和区域对比度先验生成低水平的显著性线索。然后,构建了一个双边吸收马尔可夫链模型计算中层的显著图,在该层,为了有效解决边界接触和多模态融合问题,分别设计了背景种子筛选机制和跨模态多图学习模型,利用低级的显著性线索从图的连接方式和亲和矩阵对初始图模型进行改进。同时在该图模型中引入了非局部连接,增强显著性区域的一致性。最后通过构建基于深度引导的优化模块对中层的显著性结果进一步优化,得到最后的显著性预测图。一系列定量和定性的评价结果,证明了所提出模型的有效性和鲁棒性。(2)针对复杂场景下显著性物体难以描述的问题,提出了一种基于渐进引导融合网络的RGB-D显著性检测模型。该模型主要包括四类子模块,通过自上而下的方式不断地对它们进行交替级联,以不断增强和优化多模态特征的融合,逐步挖掘和整合有价值的信息。具体地,模型首先利用卷积神经网络分别提取多个层次的颜色和深度模态特征。然后,通过在每一层构建一个多模态多尺度注意融合模块,来充分挖掘在不同模态下和在不同尺度下的特征的互补性,实现最优的特征融合。其次,为增强浅层特征的语义表达能力,构建了多模态特征细化机制,利用高层融合特征引导浅层原始的RGB特征和深度特征的增强。最后,设计了残差预测模块进一步抑制背景元素,预测最终的显著性结果。相关数据集上的定性和定量对比分析结果,充分验证了所提模型的有效性和鲁棒性。另外,该模型在取得先进性能表现的同时,还能够较好地应对基于RGB图像和热红外数据的RGB-T显著性检测任务,表现出了优越的可迁移性。(3)针对网络模型复杂化、参数量大、占用计算资源多等实际应用问题,构建了一个轻量级的跨模态感知网络用于RGB-D显著性检测。为提升轻量级骨干网络的特征表示学习能力,设计了互注意增强模块并嵌入到深度特征编码流中,利用深层的语义特征以及模态间的相关性强化RGB和深度特征的表示能力。同时,提出了选择性相互调制融合模块和高层引导的特征细化机制来保证算法的运行效率和精确度。大量定性和定量的数据对比结果,证明了所提出模块的有效性以及整体算法的优越性、实时性和鲁棒性。
其他文献
温室气体大量排放引发的全球气候变暖已严重威胁到人类的生存环境与健康,因此全球碳循环成为当前人们关注的热点问题。草地生态系统是陆地生态系统的重要组成部分,在全球碳循环和减缓温室气体排放方面发挥着重要作用。放牧和刈割是草地主要的管理和利用方式,对草地生态系统碳循环起重要调控作用。以往大量研究表明适当的利用可以提高草地生态系统的固碳功能。此外,当今草地同时面临多重全球变化问题,如全球氮沉降、生物多样性降
我国煤层渗透性普遍较低,这一特点决定了我国煤层瓦斯促排、促抽难度大。注CO2驱替煤层瓦斯是近年来一种新兴的高效促排、促抽瓦斯增产技术,其理论和应用技术已日趋成熟,考虑到煤层压注CO2时,现场制取难度大,供气量难以满足现场需要。为此,从井下气源获取的角度考虑,提出了注弱吸附性空气驱替煤层瓦斯技术。通过分析注空气对煤层瓦斯置换、气流的稀释扩散以及煤层膨胀增透的多重作用,选择在山西常村煤矿3#煤层掘进工
词汇是语言的基础,在汉语作为第二语言教学的各个阶段都涉及一定的词汇教学。双音节词的教学是对外汉语词汇教学的主要内容之一,其中含相同语素的双音节词是外国学生难以分辨并容易产生混用的一类词。在前人突破了单纯从“同义词”“近义词”的角度出发来研究对外汉语词汇的基础上,本文以新HSK五级词汇中的双音节词为研究对象,利用HSK动态作文语料库,筛选出发生含相同语素混用的双音节词。将其归类并分析原因,再提出有针
在井下煤炭开采和瓦斯抽采过程中,裸露的煤壁以及煤柱长期处于瓦斯气体环境中,不断地进行着吸附—解吸过程。本文采取实验方法,利用自主研发设计的恒温定容煤体吸附—解吸实验装置,进行煤体循环吸附—解吸实验,分析了煤体循环吸附/解吸气体的特性规律。实验结果表明:在循环吸附—解吸过程中,煤体的吸附量逐渐减少并趋于平稳;随着吸附—解吸循环次数的增加,吸附罐在吸附前后的压降变化逐渐减小,吸附速率减缓;煤体的解吸量
我国大部分矿区煤层渗透率较低,注气驱替增流抽采瓦斯技术是提高低渗煤层瓦斯抽采效率的有效方法之一。分类梳理了我国低渗煤层瓦斯赋存特征,总结概括出高资源储量、低含气饱和度、多储层压力并存、低渗透性和复杂分区性5个特点。利用差异置信法、灰色关联法、置信区间计算法,分析了我国煤层瓦斯对井下注气驱替增流抽采瓦斯技术的适用性,获得6个影响注气驱替瓦斯效果的直接因素,影响度依次为:煤体普氏系数>瓦斯压力>渗透率
目的:观察益肾通络方治疗肾虚络阻型特发性死精子不育症的临床疗效。方法:将符合纳入标准的80例患者随机为治疗组和对照组,每组40例,治疗组采用益肾通络方治疗,对照组采用左卡尼汀治疗。治疗12周后比较两组临床疗效、精子存活率、前向运动精子率、精子总活力、精子DNA碎片指数、配偶妊娠情况。结果:治疗组总有效率72.97%(27/37),显著高于对照组的47.22%(17/36)(P<0.05),治疗组在
在推进国家治理体系和治理能力现代化背景下,城中村社区治理成为建设共建共治共享社会治理格局的重要切入点,多方参与、协同治理成为共识。但当前多元参与的城中村治理运行机制与模式仍面临理论和实践上的挑战。因此,本研究在分析参与式治理既有研究的基础上,借助于ANT(行动者网络理论),提出构建契合在地化的城中村社区参与式治理一般行动框架。并以广州番禺龙美村为例,分析社区参与式治理行动者构成及其动态转译过程,探