RGB-D图像显著性检测方法研究

来源 :武汉大学 | 被引量 : 0次 | 上传用户:Erinhim
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人类视觉系统感知周围场景时所获取的信息不仅包括物体反射不同光谱产生的RGB信息,也包含双眼形成的立体视觉所提供的深度信息。RGB-D传感器的广泛应用能够提升计算机对现实环境中的物体的感知能力,其中深度传感器的高可用性为RGB-D图像处理中的建模与应用提供了有价值的补充信息。本文从人类视觉系统感知深度相关的视觉特性出发,讨论了立体视觉中的视觉关注机制,针对RGB-D图像的视觉显著性预测、显著性目标检测两种任务场景,重点研究了RGB-D图像显著性检测中的深度显著性特征表达以及多模态特征融合等问题。本文具体的研究内容包括以下三个方面:1)研究立体视觉中深度特征对视觉注意力的影响机制,提出了一种基于视差选择机制的深度显著性特征,在此基础上提出一个RGB-D图像视觉显著性预测算法。该算法依据大脑皮层MT区的视觉神经的视差选择特性,对神经兴奋响应进行建模作为一种预测视觉显著性的深度特征。该方法从生理学的角度解释了立体观测条件下,深度特征对视觉注意力的影响。在三个RGB-D视觉显著性预测数据集上,该方法结果优于现有的方法。2)提出了一种用于RGB-D显著性检测的双流细化网络,设计了基于融合的细化网络和基于传播的细化网络。基于融合的细化网络的作用在于使用了一种特征中间融合的方式,对多模态的RGB和深度特征以及多尺度的中间层卷积特征进行融合,重充分挖掘了RGB和深度图特征的内在关联,并使用高分辨率的浅层卷积特征对检测目标的边界进行细化。基于传播的细化网络的作用在于使用一个浅层网络学习得到每个像素点的位置自适应传播系数,对初步检测的显著性目标进一步细化。3)研究立体视觉注意力中RGB和深度特征的融合问题,提出了一种多模态交叉注意力引导的特征融合方法,在此基础上提出一种基于深度神经网络的RGB-D图像显著性目标检测算法。该模块以残差学习的形式模拟了视觉注意力机制,通过两种模态特征生成注意力掩膜图,互相对对方的本体特征进行调优,实现了多模态特征的高效融合。该方法在现有的8个公开数据集上取得了目前最好的效果。
其他文献
加纳的首都地区阿克拉在基础设施,人口和能力方面是城市化程度最高的地区。这些年来,它在大多数地方经历了多年生洪水,对生命财产造成了很大的破坏。这个问题似乎越来越严重,越来越多的人受到影响。本文确定了四个相关的基本问题,这些基本问题最终导致了每年的洪灾。快速的城市人口,快速的城市化,高强度的短期降雨和严格的土地保有权制度,都是造成这一年度灾难的原因。通过使用遥感和其他地理空间工具,本研究试图在短期,中
定位作为位置服务、万物互联、人工智能的核心技术之一,对即将到来的超智能时代起着举足轻重的作用。在“新技术革命”即将到来的今天,人类对定位服务提出了前所未有的新要求:高精度、高实时性、高鲁棒性、高可用性。目前关于定位技术的研究按场景分为室外定位和室内定位,主要方案有全球导航定位系统GNSS、惯性导航系统INS、智能手机室内定位、视觉里程计VO、激光里程计LO等。然而,这些单一传感器的定位手段都存在着
第一部分哺乳动物生发泡的染色质构型与卵母细胞转录活性及发育潜能的相关性目的:卵母细胞的质量是辅助生殖技术成功的关键。本文旨在研究哺乳动物(人/鼠)生发泡染色质构型与卵母细胞转录活性及发育潜能的相关性,探索卵母细胞染色质构型的影响因素,为无创筛选优质卵母细胞提供新思路。方法:收集武汉大学人民医院生殖医学中心采卵患者捐赠的GV期(germinal vesicle)卵母细胞及C57野生型小鼠GV期卵母细
能源危机如今已是全球关注的重点问题。我国第十三五规划中,多次对储能与新材料的发展提出了具体的要求并将其列为未来计划实施的重大项目。这充分表明储能设备与相关新材料的研究进展,已经受到了高度关切。超级电容器是近十几年来发展迅速的储能设备,因其高比容量、高稳定性、长循环寿命且高安全性等优点,被视为理想储能设备。超级电容器的性能主要由电极材料的性能决定,因此开发具有高比容量、高功率、长循环寿命及环境友好的
背景与目的:鼻咽癌(NPC)的发病率在头颈部恶性肿瘤中高居榜首,其多为低分化鳞癌,发病极具地区特异性。研究证实,鼻咽癌是一种复杂多变的恶性疾病。遗传因素、Epstein-Barr病毒(EBV)感染以及环境暴露等因素都与其发生发展有密切关系。当前针对鼻咽癌较为有效的治疗手段是放、化疗。尽管近年来医学技术水平不断发展,新的放化疗方法与设备、药物层出不穷,但部分鼻咽癌患者治疗后仍出现复发、转移,其再次治
当下全球创客文化和民主化设计创新快速发展,设计创客及其教育已成为当下关乎创新主体未来认知的重要命题。设计与创新创业教育深度融合研究的缺失,致使“创客”概念频现泛解乃至误解的窘境。设计创客教育的发展系统更是处于混沌和茫然状态,设计创客教育活动及空间建设出现盲目跟风、千篇一律的发展状态,设计创客教育资源的碎片化、同质化现状需要被统整与改变,这些都是亟待解决的系统性研究课题。本研究立足于设计创客的内在发
背景:长时间机械通气之后的病人,往往出现以膈肌收缩力下降和(或)膈肌纤维发生萎缩为特征的收缩乏力,临床上称之为呼吸机相关的膈肌功能障碍。镇静作为机械通气过程中十分重要的环节,但镇静药物对膈肌功能也存在不同程度的影响。已有数据表明,丙泊酚镇静引起大鼠膈肌收缩力的降低和膈肌纤维的萎缩。右美托咪定镇静可引起机械通气后大鼠膈肌收缩力的降低但并不伴有膈肌纤维的改变。但是以上哪种药物对机械通气后膈肌功能的影响
随着物联网和人工智能产业的兴起,亟需低功耗、高稳定性的微纳传感器。目前,商用的半导体气体传感器通常采用金属氧化物(如SnO2)纳米颗粒作为敏感材料,由于SnO2材料需要在高温下工作(150~400℃),存在着长期稳定性差、功耗大等问题。作为第三代半导体材料,氮化镓(GaN)具有优异的化学稳定性(耐酸碱腐蚀),可以在苛刻环境中使用。而且,GaN纳米线具有比表面积大、晶体质量高以及易于集成等优点,是新
伴随着移动互联网、物联网等技术的蓬勃发展,整个网络中数据逐渐呈现高增速化、巨规模化、多类型化等特征。云存储作为可降低数据管理开销和提高数据使用效率的核心技术与方法之一,随其所提供的服务日益完善而备受关注。企业、个人和政府机构越发愿意外包自身拥有的宝贵数据至云平台,以供服务对象可随时随地享受优质数据服务。然而,由于云存储模式下数据脱离了拥有者的实际掌控以及云平台的不可信,数据自身安全与隐私受到了巨大