基于质量感知的RGBT目标跟踪

来源 :安徽大学 | 被引量 : 0次 | 上传用户:mnbmnbmnbmnbmnb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目标跟踪作为计算机视觉研究领域的重要课题之一,目前在智能机器人、道路视频监控以及军事国防等领域被广泛引用,且越来越受到研究者的重视。作为目标跟踪的一个研究分支,RGBT(可见光-热红外)目标跟踪旨在结合可见光与热红外图像进行目标跟踪,得益于热红外与可见光数据的互补性,也逐渐引起了学者们的广泛关注。然而,该研究领域缺乏一个大规模评测数据集,极大地限制了深度跟踪器的训练以及跟踪算法的评测。此外,由于跟踪过程中多模态数据往往存在噪声等不确定性信息,直接融合两个模态的数据会引入较多干扰信息而忽略有效信息,限制跟踪器的性能。本文主要针对以上两个问题展开研究,研究内容如下:第一,本文构建了一个大规模RGBT目标跟踪数据集,以及评测了12种主流跟踪方法,并进行了深入分析。数据集包含了1224个可见光-热红外视频对,总帧数超过了730K,达到了现存规模最大RGBT跟踪数据集的6倍。所有数据由两个不同的数据拍摄平台采集而来,成像平台的多样性带来了拍摄目标、成像角度、以及成像场景的多样性。在实验部分,本文采用了两种标准对12种RGBT跟踪算法进行了全面的性能评估,并给出了详细的分析,为后续跟踪器研究提供基准。大量实验证明了数据集的挑战性以及对于该领域发展的必要性。此外,本文将发布该数据集的非对齐版本,以此吸引学者们对非对齐RGBT跟踪的研究兴趣,有着更加实际的价值和意义。第二,本文提出了一种基于质量感知的RGBT目标跟踪方法。由于在实际跟踪场景下的多模态数据成像质量极不稳定,因此为了充分利用多模态数据的互补信息需要对多模态数据进行自适应融合。然而现存自适应融合的跟踪算法往往仅考虑特定模态特征而忽视了多模态协同特征的重要性,此外对于融合前特征的噪声信息也缺乏抑制,这将严重影响自适应融合特征的质量。针对以上问题,本文提出了基于质量感知的RGBT目标跟踪方法,提取特定模态与多模态协同特征实现鲁棒地目标建模,提出了模态质量感知模块,在跟踪过程中自动生成模态权重指导多模态特征融合。为了生成更加准确的模态权重以及更有效地融合特征,在特征提取分支引入特征注意力机制,在特征融合前尽可能抑制原始噪声的干扰。在主流的RGBT目标跟踪数据集上的大量实验验证了该方法的有效性。
其他文献
异常检测旨在研究如何发现数据中不符合预期正常行为的模式和对象。通过对不同领域中异常模式或对象的分析和研究,有助于深入理解该领域的正常行为,及时发现其中的异常行为和模式,具有重要的研究意义和广泛的应用价值。在实际应用中,由于人工标注样本标签的代价高昂或难度较大,使得人们需要处理的对象数据往往是只有少量独立类标签或约束信息的半监督数据形式。为此,基于半监督学习的数据挖掘方法受到越来越多的关注。如何利用
学位
聚类是机器学习中的一个重要而基础的技术,是分析和处理多变量数据的重要方法,被得到广泛应用。但是单一的聚类算法无法处理所有数据,因此存在稳定性和鲁棒性的问题。为了解决这个问题,聚类集成方法应运而生。聚类集成通过集成多个弱的基聚类结果,得到一个更鲁棒,更稳定的聚类结果。虽然聚类集成已经取得了良好的效果,但是传统的聚类集成算法通常采用较弱的基聚类算法,容易导致基聚类结果不可靠。而且已有的算法往往将各个基
学位
智能交通时代,通过摄像头监控车辆动态并进行监督已经是必不可少的车辆管理方式,摄像头监管车辆的一项重要技术就是车牌检测识别技术,它可以快速便捷的通过机动车辆车前车后的标准车牌确认车辆身份。但是对于一些大型车辆,监控视角受限以及标准车牌的磨损严重、污渍附着等问题使得摄像头无法拍摄到合适的标准车牌,车牌的检测识别技术难以获得准确的识别结果,于是本文通过研究非标车牌的检测识别来解决此问题。非标车牌与标准车
学位
网络作为一种非欧式数据结构在现实世界中非常常见,例如表示论文之间引用关系的引文网络,表征用户之间的关系的社交网络,生物学中蛋白质分子网络等。近些年,深度学习由于其优异的特征提取性能成为了热门研究课题,而基于图深度神经网络的网络表示学习方法也逐渐成为图分析研究领域的主流方法。其中基于图自编码器的无监督网络表示学习方法是非常一种经典且常见的方法。当前基于图自编码器的方法通常只有一个解码器和一个编码器,
学位
在现实世界中,许多人在互联网上分享照片、文本等不同种类的信息,这些数据可以被标记多个标签。利用好这些数据,寻找到可用标签和数据之间的关系,可以指导人们更好地学习、工作。传统的多标签学习任务就是学习一个有效的模型,为未知数据赋予多个标签。通常,在训练集中,一个样本标注多个标签,并且所有标注的标签都是精确的。然而,精准标注大规模样本是困难的,一般在标注时,由于疏忽,标注者往往会将一些样本无关的标签分配
学位
传统的药物研发是一个长时间、高投资和高风险的过程。随着医学技术的发展,人们对疾病的发生机制有了越来越清晰地认识,对药物的需求也在不断增加。传统的药物研发方法已经很难满足人们的需求,人们需要一种新的药物研发方法。药物重定位是一种为已有药物寻找新的适应症的方法,可以显著地加快研发进程、减少研发费用和降低研发风险,受到了越来越多的关注。此外,随着计算机技术和高通量测序技术的发展,研究人员能够从多种来源获
学位
随着众包系统的发展以及众包概念的普及,许多研究领域所需的大量标记数据离不开众包应用的发展,很多无法通过机器智能完成的任务转而通过外包的方式交由网络在线用户完成。同时,作为一种人工智能的方式参与到了机器计算,众包标注帮助越来越多的基于监督学习的应用程序,以相对低的成本获得大量的标记数据,这加快了数据的更新和模型迭代的速度。然而,标注者的质量无法得到保证,从而使得利用众包标注数据建立的模型面临挑战。因
学位
目前生物特征识别技术在多个领域得到广泛应用,生物特征信息的安全性问题日渐凸显。为权衡生物特征识别与生物特征信息安全的关系,提出可撤销生物特征模板保护算法,需同时具备不可逆性、可撤销性、不可链接性和性能保持四个要求。可撤销模板保护是对生物特征使用不可逆的单向函数转换后再进行匹配,输入的原始生物特征形式不同对转换算法有较大影响。因此,本文对可撤销生物特征模板保护算法进行研究,具体如下:(1)针对二进制
学位
专利是知识产权中一种重要的知识资源,不仅能够充分反映科研创新成果的研究内容,而且还蕴藏着许多技术创新的发展趋势。专利分类是专利信息管理和专利知识挖掘的一项基本任务,旨在给专利标注一个或者多个类别标签,对专利检索、专利诉讼风险预测、专利质量评估具有重要意义。通常,专利由审查员或领域专家手动划分到多个类别。但是,随着科学技术领域的快速发展,近年来全球专利申请数量呈现快速增长趋势,并且技术领域之间交叉现
学位
双目立体视觉是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像,通过计算图像对应点间的位置偏差,来获取物体三维几何信息的方法。立体匹配作为双目立体视觉中的一个重点问题,其目标是从不同视点图像中找到匹配的对应点。当前,大多数学者对立体匹配的研究主要是针对可见光图像,尽管取得了较大的研究进展,但可见光图像对光线敏感,在复杂场景和环境下图像传递的信息质量会受到较大的影响,极大地限制了立体匹配
学位