基于孪生网络的跨视频实时目标跟踪技术

来源 :中国科学院大学(中国科学院深圳先进技术研究院) | 被引量 : 0次 | 上传用户:shiyilang7879
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着科技的快速发展,人民生活品质不断提升,对安全的需求也越来越迫切。视频安防监控行业发展迅速,各类应用也提出了不同的监控技术需求。视频安防监控由数字化、网格化逐步走向智能化,基于监控视频进行目标跟踪是基本需求。目前,常规目标跟踪算法在单摄像头视角下有较好的跟踪效果,而在实际实践中,单视角跟踪存在着视域窄、信息少等局限性,通常应用的是多视角协同的跨视频跟踪。跨视频跟踪场景对目标跟踪算法提出了诸多挑战,如实时性、遮挡、尺度变化与外观变化等问题。如何改进目标跟踪算法模型,使其满足跨视频目标跟踪技术需求,是一个亟待解决的问题。本文基于孪生神经网络,从实时跟踪和面向尺度外观变化跟踪方面进行目标跟踪算法模型优化,构建了跨视频目标跟踪原型系统。主要贡献如下:1.提出了一种基于多路复用卷积的轻量级孪生网络目标跟踪模型MPSiam。针对目前主流跟踪模型网络结构复杂、推理速度慢的问题,构建了空间多路复用卷积和通道多路复用卷积,增强了特征图空间和通道之间的信息流动,减少了网络参数,加快了推理速度。实验表明,MPSiam模型在CPU和GPU上的推理速度都得到了提高,在CPU上的速度达到了实时跟踪的标准。2.提出了一种基于Transformer的面向尺度外观变化的孪生网络目标跟踪模型Tr MPSiam。针对主流网络模型不能充分利用视频帧间时序信息的问题,在MPSiam网络的基础上引入了Transformer结构来构建视频帧之间的推理关系。针对跨视频跟踪中产生的目标尺度外观变化问题,将基于Anchor-based的RPN网络改为基于Anchor-free的中心点目标估计网络,增加了尺度预测回归网络头,提高模型对尺度变化的敏感性。构建了一种基于动态模板的目标模板更新方式,在仅增加少量参数的情况下,实现了对目标外观的鲁棒建模。实验表明,Tr MPSiam模型可以充分利用时序信息,提高了跟踪精度,并且可以较好应对尺度与外观变化。3.开发了跨视频目标跟踪原型系统,并进行了实验验证。首先使用薄板样条函数和全局统一地理坐标,将像素坐标对应到全局坐标中,之后结合多边形裁剪算法和射线法,实现了对重叠区域的定位和进入检测,并形成了目标交接算法,最后在此基础上开发了跨视频目标跟踪原型系统。实验表明,系统可以在跨视频场景下对目标进行实时稳定的跟踪。
其他文献
随着二代测序技术的高速发展,单细胞转录组测序(sc RNA-seq)被用于测量单个细胞中基因表达情况,解决了传统测序技术掩盖细胞内基因表达异质性的问题,极大的推动了疾病治疗中细胞异质性和功能异质性问题的研究。在不同的数据收集过程中,仅靠转录组分析并不能很好的研究细胞内潜在的转录调控机制,单细胞多模态数据的整合可以很好地解决这一问题,对同一细胞添加不同组学的特征并构建转录调控网络,有利于更好的研究细
学位
习近平总书记在学校思想政治理论课教师座谈会上提出要把统筹推进大中小学思政课一体化建设作为一项重要工程,推动思政课内涵式发展,为思政课改革创新提供了重要指导和根本遵循。同课异构作为推动大中小学思政课教学一体化的方法,提供了大中小学思政课一体化建设的新模式,是当前落实立德树人根本任务、提高思想政治教育实效性的重要一环,也是推进学校思想政治教育改革创新和内涵式发展的必然选择。本文在分析同课异构助推大中小
学位
目的 研究血液病患者并发多重耐药菌感染的临床护理措施。方法 随机选取2018年6月—2020年6月期间河北燕达陆道培医院收治的血液病并发多重耐药菌感染患者50例,以随机抽取方式均分为两组,参照组(n=25)采用常规护理措施,研究组(n=25)采用综合护理措施,对比组间护理结果。结果 护理后,研究组患者的感染症状消失时间(8.45±3.22)d及住院时间(18.13±3.22)d均低于参照组的(13
期刊
报纸
在电子封装中,需要用到很多复合材料,如所需要的热界面材料(TIM1)。因为其主要目的为了是解决电子元器件的散热问题,所以需要其具有良好的导热性能。而一般地,当体系填料最紧密填充密度越高时、热导率就越高。因此可以通过模拟体系最紧密填充密度,为来开发和优化级配方案的优化提供一定的指导。本文利用离散单元法,开发了一种模拟大粒径比多粒径颗粒随机密填的数值模拟方法,并通过实验及其他模拟方法对比验证了本研究方
学位
中国共产党在百年实践中,孕育出一系列伟大精神,铸就了中国共产党人的精神谱系。自党的十八大以来,中国特色社会主义进入新时代,在新的历史方位上,对中国共产党人精神谱系进行丰富发展既是中国共产党总结经验推进伟大事业的历史自觉,也是马克思主义中国化、时代化的现实需要。党的十八大以来,中国共产党人精神谱系的丰富发展与党加强自身建设的要求和回应外部环境的机遇挑战密切相关。加强党的建设为内因,具体表现在以下四个
学位
北满革命根据地由于其特殊的地理位置,对于东北解放乃至全国的解放战争都具有极其重要的意义。解放战争时期,在中国共产党领导下,北满革命根据地广大军民开展了一场轰轰烈烈的大生产运动。他们自力更生、艰苦奋斗,在极其困难的环境和条件下,基本做到了自给自足,而且增加了政府的财政收入,为夺取解放战争的最后胜利奠定了坚实的物质基础。北满革命根据地大生产运动是在多种因素作用下展开的。1945年日本投降后,东北地区成
学位
内窥镜是体内诊断和微创手术临床实践的重要手段,医生可以借助内窥镜对患者体内进行观察,以获得患者体内组织器官的信息。这种信息包括病变情况、病灶类型和大小等。但由于内窥镜的视野较狭窄,这对于微创手术的临床实践带来了一定困难。特别是需要掌握组织器官中病灶的全貌、快速定位病灶以及做相应的术前规划时,狭窄的视野对于实际的手术操作不利。具有大视野的三维全景图像可以很好的解决视野狭窄的问题,二维的全景拼接虽然也
学位
高效氯氟氰菊酯(Lambda-cyhalothrin,LCT)是一种化学合成的II型拟除虫菊酯农药,因其卓越的杀虫效果在农业生产过程中应用十分广泛。然而,施用后的LCT在环境中残留严重,它会随着物质循环进入到人和动物体内,在机体中蓄积或分解为有害的中间产物并造成人和动物的慢性中毒,导致多种疾病的发生。研究表明,LCT可能对哺乳动物的生殖功能、神经功能等造成不良的影响。但迄今为止,对于LCT在哺乳动
学位
<正>数学家哈尔莫斯指出:“数学的核心应该是越过这些表面知识(指概念、公理、定理、定义、公式、证明等)的内在问题、思想和方法。问题是数学的心脏,思想是数学的灵魂,方法是数学的行为。”数学教育应使蕴含在知识内部的数学思想方式、数学思考方法、数学精神显露出来,并使学生感悟到。现以“口算两位数减两位数”教学为例,谈谈如何上好一节有“灵魂”的数学课。
期刊