融合注意力机制的显著性检测方法研究

来源 :上海工程技术大学 | 被引量 : 0次 | 上传用户:gfdsa008
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人类的视觉神经系统可以在复杂的场景中快速发现感兴趣的目标,这种具有选择的视觉能力称为视觉注意机制。显著性检测是目前计算机领域的一个热点研究方向,其主要工作是通过建立一种视觉注意模型来模拟人类视觉系统,从而检测和识别出一个场景中最吸引人类注意力的区域或物体。目前该工作已广泛应用于计算机视觉或者机器人视觉,比如图像压缩、图像检索、图像编辑、图像分割、物体识别等。现有的RGB-D显著性目标检测仍面临着一定的挑战。一方面采用预训练模型训练尽管能节省训练时间,但调试难度较大,且多步骤、多模型训练方法存在误差累积及工程复杂度高等问题;另一方面,彩色与深度特征差异性较大,拼接与相加等简单融合方式无法充分利用其互补信息。本文在注意力机制的启发下,对RGB-D显著性检测方法进行研究,主要内容如下:(1)针对现有图像算法采用的多步骤、多模型训练方法存在误差累积及工程复杂度高等问题,本文提出了一种端到端的基于生成对抗网络的三流显著性检测网络。考虑到多尺度特征能够有效提升网络的尺度适应性,本模型采用Res2Net模块作为RGB流与深度流的特征提取块,然后通过逐步上采样来融合浅层信息。与直接相加或拼接不同的是,本文先对同层RGB-D特征进行点乘操作以获取其共显著性,而后利用SE结构进行上采样融合,从而生成显著图。接着,将生成器生成的显著图与真值图一同送入本文设计的对抗网络,通过对抗学习的方法对显著图进行不断细化,直至判别器无法区分显著图与真值图。此外为了解决显著性检测中常见的前景与背景的类不平衡问题,本文引入了焦点损失函数作为生成器损失,进一步提高了模型的检测精度。(2)为了充分利用彩色与深度信息的多层级互补特征,同时进一步提高检测精度,本文在注意力机制的启发下提出了基于跨模态特征融合的显著性检测网络。为了解决FCN网络理论感受野远低于实际感受野问题,本文在每个卷积块中集成了全局特征流和局部特征流,并以通道注意力的形式进行融合,从而搭建了改进的FCN网络(IFCN)。此外考虑到不同层次的深度与彩色互补特征也不同(高层存在语义互补,浅层存在空间互补性),本文利用空间注意力结构搭建了跨模态特征融合模块。同时,考虑到浅层特征中的冗余信息过多,本文仅在较高层融合互补特征从而生成显著性图。通过大量的综合实验表明,本文所提出的模型在多个数据集上均有显著提升,表现出较强的鲁棒性,同时网络参数量以及算法复杂度较低。
其他文献
卖空是资本市场中一种重要的交易机制,在西方发达国家资本市场发展已经非常成熟,我国直到2010年3月31日才正式推出融资融券业务,结束了资本市场长期的单边交易。目前学术界的研究较多集中于卖空机制对资本市场以及上市公司经营管理和管理层不当行为方面的作用,鲜有文献就大股东行为进行研究。大股东侵占上市公司的资产、掏空上市公司这种恶性事件自上个世纪以来就一直是我国资本市场久治难愈的痼疾,近几年更是呈现逐年递
学位
国际原油价格与贸易格局对各国都有极其深刻的影响,尤其是原油对外依存度极高的中国。因此研究基准油价差与国际原油贸易格局之间的关系、进而研究不同区域市场在国际原油市场上的地位就显得格外重要。不仅有利于深化对原油的认识,揭示原油价差与国际原油贸易格局运行大趋势,也有利于助益国家战略决策。本文基于基准油价差与全球原油贸易格局的理论研究,以原油供给与需求为切入点,利用2010年1月至2020年4月的WTI-
学位
股票市场与外汇市场作为我国金融体系的重要组成部分,对我国社会资源分配起着指导意义。随着全球经济的快速增长,油价波动已演变成一种复杂的金融现象,它在国际资本市场的动态系统中逐步渗透,能源市场与股票市场之间的关系也更加密切。汇率作为不同国家货币间的桥梁,油价涨跌作为全球经济增长的晴雨表,二者的变动会对股票市场产生一定程度的影响。本文聚焦我国航空行业,以我国8家上市航空公司股票的流通市值为权重分级加权的
学位
获取物体的三维信息对分析和了解事物非常重要,随着计算机技术和科技的发展,人们可以通过机器视觉系统和相关算法实现对物体三维信息的获取,光学三维测量技术是人们获取三维信息的一个具体实现。其高精度、非接触的无损测量三维信息的方法,在生物医疗、文物保护、逆向工程、航空航天等领域被广泛应用。相位解包裹算法作为获取高精度物体三维信息的重要环节,没有一种相位解包裹算法适用任何情况下物体三维形貌的恢复,且相位解包
学位
在实际工程问题中,系统运行期间的突然变化、内部子系统连接的突变以及对系统组件的损坏等随机因素带来的影响常常会影响整个系统结构。因此,引入Markov跳变模型,来描述此类系统结构的特性,为解决工程问题提供理论基础。另外,在大多数现有工作中,通常假定控制器可以获得所有系统模态信息,因而控制器模态可以与系统模态同步运行。不幸的是,在实际应用中,由于诸如网络控制系统中的时滞,分组丢失和量化之类的意外因素,
学位
人体通信(Human Body Communication,HBC)是一种在人体周围或人体内部进行的短距离无线通信技术。人体通信技术具有抗干扰性能好、传输稳定、能耗极低、对人体绝对安全等特性。正是由于这些优点,其被越来越多地应用在医疗与保健、残疾人辅助、消费电子产品及用户识别等领域。本文对这种无线通信技术进行了研究,建立了一些实际应用场景下的人体通信信道模型,并对其传输特性进行分析。另外,提出并建
学位
Markov跳变系统是一类由随机切换信号控制的系统,它具有多种模态并由多个不同的子系统组成。近些年来,Markov跳变系统逐渐成为了控制理论领域的一个研究热点,由于它具有强大的描述复杂系统的能力,并可以对具有突变特性的动态系统进行建模,从而在控制界进行了广泛的研究。在实际中,Markov跳变系统也具有广泛的用途,比如化工厂、机器人操纵器和飞行器等。此外,在系统的运行过程中,随时可能会受到外界扰动以
学位
随着现代科学技术的进步,传感器技术已经广泛应用于我们生活中的方方面面。无线传感器技术是目前传感器技术发展的趋势。传感器匹配天线的应用是无线传感器系统不可缺少的器件。在传感器技术应用领域的各个环节都会涉及到数据测量的工作,数据测量是无线测量系统的重要环节。无线传感技术测量精度的高低一直是衡量传感器好坏的重要指标。因此传感器技术和匹配天线的研究对无线传感系统的优化具有重要的研究价值。本课题主要针对无线
学位
当互联电网的送端系统与主网之间的联系薄弱时,一旦局部小电网与大电网间的联络线发生严重故障,局部弱联系电网将与主网中断联络而转为孤岛运行。孤岛所包含的机组数量少,而且总容量和惯性也很小,系统频率、电压都很容易在较大范围内波动,运行稳定性问题非常突出。因此,本文针对崇明长兴电网,研究局部弱联系电网与主网联络通道故障后孤岛系统运行稳定性,主要工作如下:研究局部弱联系电网故障后孤岛系统安全稳定分析模型,可
学位
随着传统能源的不断消耗以及带来的环境污染问题,使用可再生能源已经成为了世界各国的共识。其中风能作为一种可再生且无污染的绿色能源,在全球范围内也得到了各国的关注,于是各个国家开始大力发展风力发电技术。但是,由于风电本身具有波动性和随机性的特性,使其输出的风能存在较大的波动性。当风电并入电网系统时,不仅限制风电并网的比例还会造成电网的不稳定带来安全隐患,这样也会限制风力发电技术的发展。利用风电功率预测
学位