基于RGB-D图像的视觉显著性关键技术研究

来源 :北京工业大学 | 被引量 : 0次 | 上传用户:a67826766
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着人工智能技术的快速发展,视觉显著性检测技术逐渐成为当今智能视觉时代的一个重要应用研究方向。该技术旨在选择出图像的重要信息,在辅助自动驾驶、视频图像监控等任务中扮演着重要角色。目前该领域的研究难题是如何让计算机准确模拟人眼的双目视觉图像处理能力。本文以生物视觉理论和机器学习理论为基础,以构建更加符合人类视觉认知的RGB-D显著性检测模型为目标,针对RGB-D图像视觉显著性建模中有效提取颜色和深度多模态特征、有效融合多模态特征等问题,展开了一系列研究工作。具体的研究内容和创新点如下:1.针对自底向上的RGB-D图像视觉显著性中的特征优先级别计算问题,提出了一种基于对比度和深度背景先验引导的显著性计算方法。该方法主要通过一个整体框架计算颜色和深度这两种模态对自底向上的显著因素的影响,不仅在视差图上构建背景先验知识用于深度通道显著图的计算,而且对颜色通道计算的对比度赋予一定的优先级别从而实现颜色和深度显著图的整合。通过在公开数据集上的对比实验,验证了该框架能够取得较好的RGB-D图像视觉显著性检测效果。2.针对复杂场景下的显著性目标难以描述问题,提出了一种基于度量学习的RGB-D图像视觉显著性计算方法。该方法利用卷积网络分别提取颜色和深度模态特征,并投射到一个高维的度量空间,将多模态度量损失项引入到交叉熵损失函数中,从而实现基于多模态特征的显著和非显著目标学习。在公开数据集上的实验证明,该框架能够有效的学习到高层属性特征,可以提升显著性检测模型的泛化能力。3.针对颜色和深度通道计算的多层次特征提取融合问题,提出了一种基于深度融合双路卷积神经网络的RGB-D图像视觉显著性计算方法。该方法使用双路卷积网络实现颜色和深度模态的层次化特征提取,并利用多个卷积层在不同的分辨率上融合两个模态特征。另外,使用长短时记忆网络捕捉和记忆显著区域特征的尺度空间依赖关系,不仅实现了多模态特征在空间内容上的有效融合,并将反卷积特征在多尺度空间内容上进行有效融合。实验证明,该方法取得较好的RGB-D图像视觉著性检测效果。综上所述,本文对RGB-D图像视觉显著性建模中多模态特征的融合问题在不同层面上进行了探索。通过大量的实验证明了各种不同的融合方法对RGB-D图像视觉著性计算模型的有效性。该研究对RGB-D视觉计算和理解有一定的理论价值。
其他文献
新疆果品资源丰富,品质优良,是我国干果的主产区之一,其中很有特色的干果为杏干和红枣。杏干和红枣在长期贮藏时易发生霉变(真菌毒素)及滋生虫患,使其失去食用价值,造成巨大
刘因出身儒学世家,先人乐善好施、孝亲重礼养成了他温润淳和的性格。父亲刘述的安贫乐道、淡泊功名,埋下了他隐逸思想的种子。刘因原有报国之志,但随着汉法派改革幻想的破灭,
目的:本研究是基于筋针在香港渐见普及,而普通针刺以及中药一直都是香港中医生常用的治疗方法,但他们之间在治疗腰肌劳损疗效上的一些差别,临床研究是很少涉及的,故此,本研究
目的:本课题先经系统综述验证穴位埋线疗法治疗癫痫的临床有效性及安全性,再以动物实验探究大椎穴埋线疗法调控Egrl-T型Ca2+-Limkl-cofilin通路对癫痫小鼠模型的可能作用机制
背景:动脉粥样硬化(Atherosclerosis,AS)是冠心病的主要病理基础。糖尿病是最常见的代谢性疾病,其发病类型以2型糖尿病为主,是冠心病的独立危险因素。随着我国居民生活条件水
研究目的在中医理论指导下,研究活血降糖饮对2型糖尿病模型大鼠的糖脂代谢、胰岛素抵抗和肠道菌群稳态的调控作用及具体机制;通过对活血降糖饮主要活性化学成分的检测分析,并
甜瓜(Cucumis melo L.)是新疆的特色水果,甜瓜由于营养丰富、口感和风味具佳,因而深受消费者青睐。新疆是我国甜瓜种植面积最大、产量最高的地区。然而,甜瓜釆收期多集中于高温
群的特征标对群的结构有很大的影响,比如Ito定理指出:若p不整除cd(G)的任意元,则群G有交换正规Sylow p-子群.Huppert给出著名的下列猜想:如果群G和M具有相同的特征标次数集合
第一部分:PET/CT、CT和PET影像组学模型在预测肺腺癌(直径£3cm)淋巴结转移中的对比研究目的:18F-FDG PET/CT与CT、PET影像组学模型预测肺腺癌(直径£3cm)局部淋巴结转移的价值。方法
进入21世纪以来,由于世界经济的快速发展带来的人均可支配收入的提高,居民闲暇时间的日渐增加以及交通运输等基础服务设施的改善,促使旅游业得到了迅速发展,并逐渐成为当今世