基于注意力机制与特征解耦的多目标跟踪特征表达学习

来源 :中南民族大学 | 被引量 : 0次 | 上传用户:peipei713988
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
多目标跟踪(Multi-Object Tracking,MOT)是计算机视觉领域的一个重要研究内容,其任务是确定视频序列中所有实例的运动轨迹。作为计算机视觉中的一项基础研究,已广泛应用于自动驾驶、智能监控、人机交互等领域。近年来,由于深度学习技术的发展,多目标跟踪的研究工作取得了很大的进展;然而受跟踪目标数量的不确定、目标间的相互遮挡、复杂背景干扰以及检测器漂移等因素的影响,多目标跟踪仍然面临很大的挑战。基于检测的多目标跟踪技术(Tracking-By-Detection)是目前该领域的主流框架。该框架可分为全局目标检测、亲密度模型(也称关联模型)设计、关联状态推理三部分。全局目标检测负责在视频序列中逐帧检测出全部的感兴趣目标;亲密度模型负责提取出各个检测响应(或轨迹片)特征并度量它们之间的相似度;关联状态推理则根据各检测响应或轨迹片之间的亲密度,推理求解出全局最优关联,从而形成所有感兴趣目标的运动轨迹。本文在基于检测的跟踪框架下,利用深度学习技术,对亲密度模型中的特征表达学习进行了深入的学习与研究,主要工作如下:(1)基于空间注意力机制的亲密度模型空间注意力机制是克服跟踪目标相互遮挡、检测器漂移等问题的一种有效手段。本文研究并改进了一种基于孪生架构的空间注意力网络:针对原有模型在特征融合阶段易丢失不同通道空域结构信息的不足,提出用特征交并比代替加权池化进行特征融合,以此计算各检测响应对的相似度得分,以匈牙利算法进行状态关联,最终得到多目标运动轨迹。实验结果表明,改进后的模型有效提高了关联精度,实现了性能良好的多目标跟踪。(2)基于时空域注意力机制的亲密度模型在复杂场景下,仅利用空间注意力机制难以实现满意的跟踪性能;在这种情况下,利用被跟踪目标的时域动态信息,可以进一步改善亲密度模型的鲁棒性。本文提出了一种时空域注意力机制模型,通过对各检测响应之间的时空域关系进行建模,提取更具身份鉴别性的时空域特征,以改善上一章空间注意力网络模型的特征表达能力。在MOT Challenge数据集上的实验结果证明了该网络模型的有效性。(3)基于前背景解耦的特征表达学习时空域注意力机制旨在抑制干扰信息的同时突出有效信息,与该目的一致,本文尝试从特征解耦的角度出发,将生成对抗网络和生成式表达学习引入到多目标跟踪领域,通过设计网络架构与损失函数,实现了一种前背景特征解耦的神经网络模型。其中,前景特征对应于具有身份鉴别作用的有效信息,背景为除前景外的干扰信息;模型采用了自编码-解码框架和自注意力机制。实验结果表明,与目前一些主流算法相比,本章研究的方法具有相当或更优的跟踪性能。
其他文献
肺络是络脉系统的一个分支,也是经络系统的重要组成部分。笔者通过查阅古代文献,结合现代研究发现,肺络包括循行于体表的肺经之阳络和联络本脏的肺脏之阴络。肺经之阳络位置表浅,主要联络机体表里内外,肺脏之阴络位置较深,对肺发挥其生理功能起着至关重要的作用,两者密不可分,相辅相成,临床研究大多是针对在表的肺经之阳络,而对于在里的肺脏之阴络却少有研究。并通过对查阅的文献进行分析、整理,重点从肺络的概念、组成、
期刊
透明导电薄膜作为一种性能优异的光电子半导体材料,已经得到了深入的研究和广泛的应用。在众多的透明导电薄膜材料中,氧化铟锡(ITO)因其光电特性尤为突出而深受科研人员的喜爱,但由于元素铟在自然界的存储量比较缺乏、成本高昂和有毒性等多种原因限制了ITO薄膜更广泛的应用,而掺杂氧化锌(ZnO)薄膜不仅原料易得、价格低廉、无毒无污染,同时还表现出了优良的光电、压电等性能,因而具备替代ITO薄膜的巨大潜力。目
学位
视觉目标跟踪是计算机视觉领域一个重要研究方向,在自动驾驶、视频监控、人机交互、医疗诊断等众多领域有着广泛的应用。经过多年发展,视觉目标跟踪技术取得了巨大进展。然而受目标外观和光照变化、背景干扰、遮挡等因素影响,实时有效的视觉目标跟踪仍然面临很大的挑战。随着深度学习的崛起,基于神经网络的视觉目标跟踪已成为主流研究方向,其中基于双胞胎(Siamese)网络模型的方法在目标跟踪领域表现出了优异的性能。这
学位
随着物联网、人工智能、大数据和云计算等新兴技术的发展和应用,对移动通信数据传输的高速率和可靠性需求日渐增长,因此全球主要国家均在积极推进第五代(5thGeneration,5G)以及后5G无线通信系统的研发。毫米波(millimeter wave,mm Wave)因其具有较高的无线传输带宽、小型化的大规模天线阵列以及较高的天线增益等特性,成为5G移动通信的关键候选技术之一。毫米波通信采用的波束成形
学位
随着国内自闭症儿童数量的急剧增长,关于他们如何康复治疗等相关社会问题得到了人们广泛关注。有研究表明,自闭症患儿的康复与环境息息相关,环境的好坏直接关系到患儿的健康成长。然而,目前国内关于自闭症儿童康复中心并未进行系统研究,患儿的康复环境也未得到足够的关注。因此,自闭症儿童康复空间设计研究显得尤为重要。文章以自闭症儿童康复中心室内空间环境为研究对象,以理论研究和设计实践相结合的方式展开,强调环境对患
期刊
激光雷达是集光、机、电、算的精密复杂系统,凭借其探测区域广、空间分辨率高、探测精度高等优点被广泛应用于大气探测研究中。气象环境的好坏直接影响着激光雷达运行效率和探测数据质量,并且遭遇突发恶劣天气下时会严重损坏激光雷达系统精密仪器。因此,目前激光雷达台站大多采用由值守人员结合天气气象预报、卫星云图等来判断当前气象是否适合激光雷达的运行需求,并且在激光雷达运行过程中,需专人值守防止恶劣天气对激光雷达仪
学位
根据中高层大气探测激光雷达台站的现状,研发了一套智能化的激光雷达综合控制软件系统。该系统将激光雷达的天窗、水冷机、激光器、光电倍增管等部件有机地组合在一起,严格按照激光雷达的操作规范实现了自动化控制;并在运行过程中实时监测气象条件和激光雷达各部件的运行状况,如遇突发异常,按规范进行应急处理;该系统既能通过实验室内的计算机操作终端实现整体系统的操作与监控,又能通过手机端实现远程的操作与监控。具体工作
学位
作为一种高效信道编码,LDPC码(Low Density Parity Check Code)具有良好的纠错性能,其置信传播(BP)译码具有低复杂度优点,在通信领域得到了广泛应用。但是,在其Tanner图中,存在陷阱集问题,导致BP译码算法在译码过程中的性能曲线在高信噪比的区域出现平台状现象,即称为错误平台(error floor)现象,这一现象的出现使其在低误码率存储等领域中的应用受到限制。本文
学位
人脸图像超分辨率旨在通过数值计算的方法,对获取的低分辨率、低质量人脸图像进行分辨率增强,从而有效改进人脸图像的视觉质量及其辨识性,在基于监控视频的人脸识别等领域具有重要应用价值。由于人脸图像具有高度结构化和特有的身份属性,人脸超分辨率如何恢复出含有精细细节且身份保留的人脸图像是极具挑战性的课题。近年来,基于深度学习的人脸超分辨率方法引起了极大关注,相对于传统方法展现了明显优势。为了补偿图像降质过程
学位
随着各种移动终端以及互联网的快速发展和普及,越来越多的人通过移动终端的各种APP以视频的方式获取信息,与此同时,各种信息安全问题也随之而出。盗版影视,私密视频在网络上肆意传播,各种版权以及信息安全问题的解决迫在眉睫。针对这些问题,视频水印技术应运而出,成为一种解决版权问题保护信息安全的有效手段。视频水印技术通过将版权信息嵌入视频中,并在网络上传播后,依然可以从视频中提出版权信息来证明视频的所属权,
学位