基于多对多注意力机制的少样本视频目标分割算法研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:wangpeng532
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视频目标分割是通过用户指定或根据视频特征,在视频中分割出目标物体的一类视频处理技术。其对于视频编辑、推荐、搜索起到支持的作用,具有重要的研究价值。而当前不同的视频目标分割任务分别存在以下问题:通过对每个视频先标注出目标物体去分割指定目标的方法无法跨视频自动化处理、通过运动等信息可以跨视频分割出物体的方法又无法做到语义指定的分割。本文从兼容跨视频处理和语义指定分割的角度出发,对少样本视频目标分割进行研究。此任务的设定是给定少量同类别的标注物体图像作为参考,对查询视频中相同类别的物体进行分割。解决这个任务的关键在于对查询视频与参考图像之间的相关性进行建模,以实现传递参考物体信息进行引导分割查询视频。这种图像之间的多对多相关性可以被满秩注意力机制所解决,但其在计算上是密集。因此,本文基于理论推导提出了一种新的注意力机制——领域代理注意力机制,将满秩注意力中的注意力矩阵代替为两个较小的注意力矩阵的乘积。本文从查询视频中提取出一帧作为领域代理,将其分别与参考图像和查询视频进行注意力计算,对两者信息进行传递。与满秩注意力机制对比,本文提出的领域代理注意力机制在计算复杂度是线性增长,而不是原来的二次幂增长,且在性能上没有带来损失。此外,算法采用了元学习与在线学习相结合的训练策略去学习到通用的相似性比较分割能力和对特定未见过类别的特征表达能力。本文基于Youtube-VIS数据集构建了少样本视频目标分割的基准测试。在实验中,本文首先通过对比实验证明了提出的方法在性能与计算成本上都有所改进,然后对影响领域代理注意力性能的各种因素进行讨论。最后本文与适配该任务的其他方法进行比较,证明了提出的算法达到当前先进的性能水平。
其他文献
航空器起降风险因素的识别对于机场保持持续安全运行及我国交通运输安全稳定的运行起着重要作用。由于民航飞行事故具备灾难性、随机性及不可控性等特征,起降阶段是事故多发阶段且风险因素更加复杂。本研究将以大兴机场西跑道为研究对象,基于复杂网络理论分析其起降风险因素及演变过程,通过识别航空器在实际运行中的主要风险因素,确定网络的节点,并分析不安全事件案例集中某一节点向下一节点演变过程为网络的边,构建复杂网络拓
学位
随着21世纪航空业的高速发展,坐上飞机这件事也从遥不可及变成了飞入寻常百姓家。2008年,中国民航提出了全面推进民航强国的思想战略。然而科技的发展也是一把双刃剑,先进的科技带来了民航飞机的设备本质安全的同时也带给了我们新的问题。在民航安全方面,随着乘客多样化的增加,民航的机上安全成为了确保飞行运行安全的最后一块阵地。这些新问题的产生不仅仅涉及到机上所服务的乘客,另一方面机上空中安保人员也是重要的组
学位
医学图像是医生对病人病情和诊疗方案做出判断的重要依据,然而不同设备获取的医学图像通常有一定的差异,且不同病人的医学图像内容可能差异较大。医学图像分割能自动提取图像中的相应目标,一定程度上减轻医生的负担,减少因医生主观经验和图像差异等带来的漏诊误诊等。近年来,基于深度学习的分割方法以优异的性能成为医学图像分割领域的主流解决方案。然而,诸多基于深度学习的分割方法在提取特征、提升性能的同时通常会带来巨量
学位
近年来,深度学习发展迅猛,在图像分析、自然语言处理等领域取得了优异的成绩。深度学习的优异表现依托于海量的数据支撑,数据的质量、数量都影响着深度学习模型的性能。然而,在现实场景中获取大量数据标注意味着庞大的人力、时间成本。弱监督目标定位为大规模数据的定位标注提供了途径。弱监督目标定位技术仅使用图像的类别标签,为图像中的目标生成边界框。在现实场景中,图像的类别标签比图中物体的位置信息更加容易获得。因此
学位
生成对抗网络作为一类领先的生成模型,在计算机视觉领域中取得了令人瞩目的成果。生成对抗网络能有效地对数据分布进行建模,特别是采用有监督学习的生成对抗网络,其能从数据分布中提取更为可靠的表征。但基于有监督学习的生成对抗网络的主要缺点为对类别标签的依赖。在实践中,并非所有数据集都包含有标签的数据,倘若数据集中不存在足量的有标签数据,基于有监督学习的生成对抗网络的性能则会受到较大影响。因此,研究如何使用无
学位
随着民用航空器活动的日益频繁,噪声问题引起了适航当局和工业方的高度重视。发动机是航空器的主要噪声源,其贡献度与航空器的飞行状态直接相关,对发动机整机噪声源的定量评估不仅有利于国产发动机开展针对性声学设计,同时能够提升我国民机适航评价能力。为此,本文采取理论分析和试验数据验证相结合的方法,探索发动机部件噪声的精细化分解和静态发动机噪声向飞行状态映射中的关键影响因素,开发基于远场指向性测点数据的发动机
学位
民用飞机燃油箱是飞机功能系统的重要组成部分,在执行飞行任务的过程中,燃油箱点燃爆炸会严重影响飞机的飞行安全,造成人员伤亡或财产损失。为保证飞机的飞行安全,有必要在飞机的设计定型和生产制造的过程中,对飞机燃油箱可燃性暴露进行评估。在飞机飞行过程中,燃油箱自身和周围环境的变化,对燃油温度有着最直接的影响,进而影响燃油箱可燃性暴露。本文将研究不同因素对燃油箱温度的影响,通过仿真得出这些因素对燃油箱可燃性
学位
随着深度学习技术的突破性发展,越来越多的关键领域开始应用深度学习技术来解决困难问题。然而,深度学习模型自身具有的脆弱性却往往遭到忽视,通过向输入样本中添加精心设计的扰动而制作的对抗样本,能够导致深度学习分类器以极高的置信度给出错误的预测结果,进而威胁到模型安全、人身安全乃至公共安全。面临对抗样本的威胁,亟需快速有效的防御手段。近年来,学术界分别围绕主动防御与被动防御两种防御策略展开研究,提出了对抗
学位
随着计算机技术的飞速发展,国内外越来越多的学者选择采用计算机模拟的方法来研究民用航空器的应急疏散,但是在诸多研究中,乘客大多被建模为同质的,没有感情的,在民用航空器应急疏散过程中,乘客的不同情绪强度会对应急疏散决策行为有重要影响。因此,本文就乘客因情绪强度不同所表现出来的不同应急疏散决策行为进行了研究。主要研究内容如下:本文首先对民机疏散和行人决策理论相关研究进行了梳理,然后对民机乘客应急疏散决策
学位
随着航空工业的迅速发展,聚合物材料的应用范围一直在增加,其中环氧树脂(EP)因具有优异的粘结性、力学性能、绝缘性和耐化学腐蚀性,被广泛应用于航空器的结构材料和复合材料的基体。此外,锂离子电池(LIBs)被列为民航危险品运输的关键一项,而隔膜作为LIBs的重要组分之一,在为防止电池正负极短路和为锂离子传输提供通道起到关键作用。但是,EP和LIBs隔膜本质上是由C、H和O三种元素构成的聚合物材料,故一
学位