基于多任务学习与代理模型的多目标跟踪方法

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:lanxoceco2003
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
多目标跟踪任务是计算机视觉领域中的关键任务,其是目标检测、图像分割等任务的进一步发展,也是人体姿态估计、行为识别与分析等高级任务的基石,具有丰富的研究和实用价值。多目标跟踪任务的目的是识别和检测出视频帧中所有的目标,并保证每个目标在其所在视频帧中的身份信息不变,即对每个目标维持一个相同的ID编号。目前对多目标跟踪任务的处理框架主要分为四个步骤,包括目标检测、特征向量提取、相似度计算和数据关联。研究对象主要集中在行人跟踪方面,因为对行人的研究更具有应用价值和商业价值,常见的应用场景包括自动驾驶、视频监测和虚拟现实等。如何构建快速且准确的多目标跟踪模型,是本课题的研究重点。本文具体研究工作如下:(1)从速度方面考虑。针对多目标跟踪任务流程冗余,运行时间慢,提出了一种基于多任务学习和级联匹配的多目标跟踪方法。该模型中的多任务学习方法合并了目标检测过程和基于检测框的特征向量提取过程,一步检测出目标的位置并输出具有类内区分度的特征向量,省去了基于检测结果的特征提取时间,减少了总任务时间。并且在多任务学习的过程中,特征向量提取子任务会对目标检测子任务产生“窃听效应”,获取到目标周围的环境信息,更提升了目标特征向量在数据关联过程中的鲁棒性。同时,基于级联匹配的数据关联方法按优先度不同,分批次匹配相关轨迹和目标检测框,减少了目标错配、漏配的可能性,获得更高效更稳定的匹配结果。实验表明,该模型的速度在多目标跟踪任务中达到了实时性,因此具有了实时性场景下的实用价值。(2)从性能方面考虑。为了进一步提高多目标跟踪方法的精度,提出了一种基于三维残差注意力与双路上采样的特征提取结构。该结构的三维残差注意力机制通过通道注意力和空间注意力实现了对通道和空间层面分别进行注意力筛选。其中每种注意力同时包含均值池化操作和最大池化操作,其中均值池化获取特征图全局信息,最大池化操作获取特征图显著信息。结合特征图全局信息和显著信息进行融合,得出更具辨识度且对结果更有效的注意力分配权重。双路上采样同时使用了双线性插值和改进的Pixel Shuffle模块进行上采样,即也就是对深层的语义特征进行了等比例放大和参数放大,得到两种不同的放大特征,融合后得到更高分辨率且对结果更有效的特征。实验表明,该方法在速度依然保持实时性的情况下,又提高了跟踪精度。(3)从任务框架方面考虑。为了进一步优化多目标跟踪任务的流程和框架,提出了一种基于数据关联代理模型的多目标跟踪方法。其核心部分的数据关联代理模型是基于双向GRU构成的,目的是用来近似替代数据关联过程。同时在模型训练阶段,提出了一种新颖的神经网络结构来近似表达MOTA和MOTP评价指标,将其作为模型训练的损失函数。从而将数据关联过程和评价指标引入到了神经网络训练中,使整个多目标跟踪任务都能够进行端到端的训练,引导网络朝着更高关联准确度的方向精准优化,得到更高质量的多目标跟踪结果。实验表明,该方法优化了多目标跟踪的任务框架,同时得到了更好的跟踪效果。
其他文献
学位
随着近十几年石油工业的发展,多数油气田都进入开发中后期,整装油气藏的开发逐渐减少,薄互层、断块、低渗等复杂油气藏成为油气田勘探开发的主要方向。目前定向测井技术可以实现地层界面、地层方位特征以及各向异性地层走向的预测和判断。电磁波电阻率测井是定向测井的关键技术,成为诸多学者的研究目标。本文针对某电磁波电阻率测井仪器的研制需求,设计了一款具有电磁波信号产生、信号采集、检测处理、通信控制等功能,兼有方位
近年来,随着国家科技与经济发展,监控摄像头在医院、学校、机场等公共场所广泛部署。然而,监控摄像头数量的快速增长也带来了海量的监控数据,给传统的人工处理带来极大挑战,因此,能够自动识别并追踪特定行人的智能安防系统成为了国内外的研究热点。行人重识别技术是智能安防系统的重要组成部分,它是利用计算机视觉算法判断监控图像或监控视频中是否存在特定行人的技术。由于其巨大的研究与实用价值,吸引了学术界与工业界大量
当前中国城市发展已进入城市更新的重要时期,党的十九届五中全会通过的《中共中央关于制定国民经济和社会发展第十四个五年规划和二〇三五年远景目标的建议》也明确提出实施城市更新行动。公园作为城市“有机体”的重要部分,也面临着产生——成熟——衰退——更新的历程。目前部分老旧城市公园开始暴露诸多问题,无法满足现代人较高的生活需求,已进入亟待更新的阶段。以昆山市城市生态森林公园更新改造为例,研究城市老旧公园更新
随着现代科技进步和城市化进程加快,建筑行业智能化发展不断深入。在建筑行业中,安全帽作为最基本的安全防护措施,能够做到工人施工环境全覆盖。将安全帽作为智慧工地系统的智能终端采集设备,可以实现工人施工环境全范围监测,使得安全帽的作用得到延伸和扩展,促进工地智能化发展进程。不同类型智能安全帽在功能设计上有所不同,但基本都具备数据传输能力,其采用的传输协议各有不同,缺乏统一规范。因此,本文提出基于GB/T
学位
学位
期刊
智能监控系统已广泛应用于人民生产生活的方方面面,小到居家住所,大到公共场所,它不仅能帮助人们保障自身权益、维护财产安全,更有助于维护整个社会的治安稳定。智能监控系统涉及运动目标检测、分类、跟踪及其行为理解等技术。本文围绕智能视频分析中的运动目标检测展开研究,以达到在复杂的视频场景下准确检测运动目标的目的,更好地保障智能监控系统决策的正确性。针对传统的Vi Be算法中存在运动物体或者原本静止的物体突
合成孔径雷达(Synthetic Aperture Radar,SAR)因其全天时、全天候的工作能力与穿透力强等特性,被广泛应用于遥感技术领域。SAR图像变化检测是通过定性定量分析同一区域不同时相的SAR图像来获取地物变化信息的方法。SAR图像由于自身成像机理导致图像含有大量相干斑噪声,这给SAR图像变化检测带来了极大的挑战。本文首先介绍了SAR图像变化检测的研究现状,在对现有变化检测方法优缺点分