基于深度学习的多目标跟踪

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:ABCDEFGHIJKLMN100083
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
多目标跟踪是计算机视觉中一项重要的的任务,在自动驾驶、视频监控等领域有着广泛的应用。该任务旨在跟踪视频中出现的所有目标,具体而言是将当前视频帧中检测出的目标与历史帧中的目标进行匹配。近年来,深度学习算法在图像和视频任务上取得了重大突破,也得到了广泛应用。基于深度学习的多目标跟踪模型目前主要包括两类:检测跟踪(Tracking-By-Detection,TBD)模型和联合检测与嵌入(Joint detection and embedding,JDE)模型。TBD模型先检测目标,再进行跟踪匹配,JDE模型的检测和特征提取可以共用基础网络,模型参数量更少。多目标跟踪任务仍然存在很多挑战,如遮挡、光照、运动模糊等,此外误检、漏检、目标的出现与消失、相似目标的干扰,也会影响跟踪性能。针对以上问题,本文研究了多目标跟踪中几类不同的模型,并对其进行改进。主要研究内容和贡献如下:首先,遵循TBD范式,提出基于光流的运动模型,用于预测目标的运动。使用Faster-RCNN检测目标,利用运动预测优化目标交并比(Intersection-over-Union,IoU),再结合行人重识别(Reid)特征计算目标相似度,最后使用匈牙利匹配算法实现了多目标跟踪。其次,本文探究了基于Transformer的多目标跟踪。Transtrack模型是视觉Transformer在多目标跟踪领域的有效尝试,本文研究了其推理过程,应用Reid模型提升跟踪性能,并对同样基于Transformer的Reid模型TransReid进行了优化。最后,针对视觉Transformer对算力的高要求,本文将Transformer中的注意力机制应用在联合检测与嵌入模型FairMOT上,有效降低了 ID切换次数,提升了 IDF1指标。
其他文献
长久以来,序列推荐一直是推荐系统领域的研究热点。大多数序列推荐模型仅关注用户行为序列的顺序建模,忽略了有效利用序列中的时间信息、深入挖掘其中蕴含的语义知识,因此推荐性能受到制约。时间信息建模对于序列推荐意义深远。一方面,用户交互行为的时间戳包含丰富语义,各类待利用的时间信息对于理解用户真实意图进而实现精准推荐十分关键;另一方面,时间信息具有容易获取的独特优势,序列推荐能够利用时间信息有效缓解数据稀
学位
强化学习是目前机器学习领域的热门方向,在游戏博弈,推荐系统等领域都有许多成功应用。强化学习通过与环境进行大量的交互获得反馈进行学习,根据与环境交互的行为策略与学习到的目标策略是否相同可分为on-policy和offpolicy方法,而后者是提高强化学习的样本利用效率的重要方法。本文研究off-policy强化学习算法如何根据行为策略收集的样本数据集学习一个新的具有良好表现性能的目标策略的问题。在以
学位
近年来,移动互联网的发展带来了诸多基于群组通信的应用,如在线会议,社交网络等,为人类日常生活及工作提供了极大的便利。群组通信安全也日益受到人类社会的关注,成为了当下研究的一个热点问题。利用群密钥管理技术可以实现群组间安全通信信道的建立。由于应用场景的复杂多变性,群密钥管理技术也亟临诸多挑战。本文主要讨论了群密钥管理技术在移动自组织网络、分布式在线社交网络两个场景中的应用。移动自组织网络、分布式在线
学位
伴随着互联网的快速普及与发展,全球上网人数不断增加,数据的生成量级也迎来爆炸性的增长,如何充分利用好海量的数据为人们提供智能化的信息服务一直以来都是计算机从业者所追求的目标。然而海量无结构的数据所提供的信息量是有限的或者说对于下游应用任务来说是不方便处理的,因此从无结构化的数据之中抽取出结构化的知识这一需求也日益迫切。关系抽取正是解决这一需求的重要任务,从纵向发展来看关系抽取是自然语言处理(信息抽
学位
G蛋白参与的信号转导途径是真核生物体内高度保守的信号通路,参与调控生物体内多种重要的生命活动。目前对于G蛋白的研究大多集中在动物中,植物中这一重要的信号通路的研究相对较少。水稻体内的异源三聚体G蛋白参与水稻体内多种重要的生物学功能,是水稻粒形调控的重要信号通路之一。已有的研究表明水稻异源三聚体G蛋白的三个典型亚基Gα(RGA1)、Gβ(RGB1)、Gγ(GS3和DEP1)均参与水稻体内的信号转导途
学位
高端民营医疗作为社会医疗体系的重要补充,有效填补了部分患者追求效率、舒适环境、人性化关怀、定制化服务流程等的需求空白。高端民营医疗的性质决定了其市场化特性和公司化治理模式。因此,管理者目标是通过建立高度信任的关系,来“拥有”客户,从而实现客户的终生价值,这就要求管理者需要不断改进经营管理模式来增加患者忠诚度。因此,本研究探讨影响高端民营医院患者品牌态度忠诚的因素和影响机制。本文首先对现有感知风险、
学位
微生物极广泛地分布在地球上,微生物不仅仅在自然界中,同时也在人类生产活动中扮演着极其重要的角色,然而我们目前为止所认识的微生物仅仅为其中很小一部分。分离培养及多相分类学鉴定自然环境中的各种微生物,可以丰富微生物资源库,对实际应用有很重要的意义。这对实际应用有很重要的意义。功能性微生态系统作为一种分解剂具有很高的效率,有助于解决环境问题。如果我们能够准确地理解微生物的价值,并根据需要使用它们,我们就
学位
随着区块链2.0平台的出现,智能合约成为了区块链的核心,区块链系统需要管理供智能合约访问的状态数据。这使得区块链系统的每个节点完整保留一份数据副本的全复制存储方式受到了巨大的挑战,尤其在吞吐率较高的许可链场景中这一问题显得尤为重要。近来,也有研究人员对离线区块数据采用拜占庭容错的分片存储来缓解这一问题。而状态数据,由于受到防篡改数据结构的约束,很难直接分片存储。本文主要解决区块链系统中的状态分片问
学位
用户行为序列是按时间排列的用户行为数据,反映了用户随时间变化的偏好特征。序列推荐系统通过序列化地建模用户的行为序列学习用户不断进化的兴趣,关注的核心问题是:(1)如何为用户精准提供感兴趣的商品,(2)在怎样的适宜时间点推荐。对于第一个精准推荐的问题,图神经网络模型由于能够建模序列中复杂的转移关系,在序列推荐领域具有很好的表现。但是此类方法面临两个挑战,首先是将序列转为图时,物品的顺序信息缺失;其次
学位
事件检测是自然语言处理中的经典任务之一,也是事件抽取与构建知识图谱的关键步骤。利用大量标注样本训练基于深度学习技术的语言模型,然后对非结构化文本按照预定义的事件类型分类,是完成事件检测的传统思路。然而面对互联网中日益增长的非结构化文本内容,大量未被发现的新事件类型层出不穷,为这些未知事件标注样本的工作将消耗大量的人力物力。因此,零样本事件检测任务被提出,旨在使模型自动发现并归类新的事件类型,而不依
学位