基于孪生网络实时单目标跟踪算法研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:11-Jun
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目标跟踪是计算机视觉领域中最基础的任务之一。尽管该任务在监控安防、自动驾驶和增强现实等任务中有大量的应用,但其任务本身仍然具有非常高的挑战性。近年来,基于孪生网络形式的目标跟踪器因其实时的跟踪速度和不错的跟踪性能而备受关注。在这类跟踪器中,一个开创性的工作就是孪生全卷积神经网络目标跟踪器。这种结构的跟踪器一个很重要的优势是在实际跟踪时几乎不需要在线训练,因此,使用该结构的跟踪器能够轻易的达到较高的速度。同时,这种全卷积的网络结构能够充分利用离线训练数据,进一步使得自身具有高度的概括性和区分性。
  尽管这种跟踪框架取得了巨大的成功,但其本身仍然存在三个方面的限制影响其发展:
  第一,现有模型不够稳健。当目标有明显外观变化或者在背景处有其它外观相似的干扰物时,现有模型易受到干扰物的影响,从而使得跟踪器无法稳健地跟踪;当模板中目标附近有显著物体存在时,现有模型缺乏对当前视频的适应,从而使得跟踪器无法稳健地聚焦在被跟踪的目标上。
  第二,现有模型不够准确。当被跟踪目标有较大的角度旋转时,现有模型不能准确地输出精准的标定框;当目标尺寸比例异常时,现有模型无法准确地选择特征作为目标的模板。
  第三,现有模型不够高效。当模型使用锚定框分类和回归机制来预测目标形状变化时,现有模型需要一个更复杂的头部网络,模型的参数没有被高效利用;当增加骨干网络的深度时,跟踪器性能的改善并不明显,模型更高的表达能力没有被高效利用。
  本论文针对现有模型存在的上述问题,提出了三个方案对其进行改进:基于语义特征的双重孪生全卷积网络跟踪器、基于角度估计以及空间掩码的更优匹配孪生全卷积网络跟踪器和基于二阶段免锚定框的对位置敏感的精准定位孪生全卷积网络跟踪器。
  基于语义特征的双重孪生全卷积网络跟踪器主要解决的是现有模型不够稳健的问题。语义特征的融入不仅使得该框架对于目标的形变具有更高的概括能力,还能抑制背景中外观相似但语义上完全不同的物体响应的大小,而原本就有的外观特征让跟踪器仍然保持足够的区分力。注意力机制的引入,让模型能够根据目标的上下文背景信息自适应地判断当前通道特征的重要程度,增强与目标相关的通道,抑制与背景相关的通道,使得跟踪器在跟踪时能对目标有一定程度的自适应能力。最后,多层次特征机制的引入则进一步提升了模型性能。
  基于角度估计以及空间掩码的更优匹配孪生全卷积网络跟踪器主要解决的是现有模型不够准确的问题。角度估计机制的引入让该框架不仅能跟踪目标位置和大小的变化,同时还能让模型跟踪目标的角度变化。自适应的空间掩码选择机制则让深度特征中可以包含适当比例的背景信息,进一步抑制模板图片背景中可能存在的干扰物。最后,部分保留的更新机制的引入,使跟踪器能进一步应对目标外观的逐渐形变。
  基于二阶段免锚定框的对位置敏感的精准定位孪生全卷积网络跟踪器主要解决的是现有模型不够高效的问题。免锚定框二阶段回归器的引入,让模型具备边框回归能力的同时,节省了锚定框的分类与回归所需要的大量参数。更优的训练策略,不仅为该框架第一阶段的定位提供了准确的位置基础,还为目标跟踪领域贡献了一种新的基线模型。最后,对位置敏感的卷积模块让堆积在骨干网络上的层在增强特征表达能力的同时,不会损失特征的定位精度,这一举措进一步提升了跟踪器的性能。
  本论文在多个数据集上对上述框架进行了大量充分而又详细的实验。实验表明,本论文提出的若干框架能远好于其它大多数的实时跟踪器。这些实验结果进一步体现出本文提出的所有新框架的有效性与先进性。
其他文献
摘要:“课程思政”是当前各高职院校教学改革的一个重要方向,各门课程应把思政教育放在课程教学的首位。本文分析了高职课程思政教育融入高等数学课程教学的意义,并对其有效途径与方法进行研究,使高职高等数学教育和思想政治教育相融合,实现知识传授与育人目标相统一,促进人才的全面发展。  关键词:高等数学,课程思政,立德树人  在2016年全国高校思想政治工作会议上的重要讲话中强调,要坚持把“立德树人”作为高校
期刊
摘要:互联网在当今社会逐渐普及,互联网+视域下高职院校学生管理工作成为了高职院校管理的新趋势。互联网+在各个教育阶层都发挥着重要作用,因此高职院校的管理者在对学生进行管理时,要与时俱进,积极结合互联网+的优势,采取合理和高效的管理策略。  关键词:互联网+;高职院校;管理;对策  在教育迅速发展的时代下,进入高等教育课堂的学生也越来越多。如何有效地顺应时代发展,加强对于高职院校的管理,是许多高校需
期刊
摘要:多年来,大学英语教学一直存在中国文化“失语”问题,学生用英文表达中国传统文化的能力较弱。基于“一带一路”时代大背景,从主观因素和客观因素分析大学英语教学存在“中国文化失语”的原因,并提出相应对策改善“失语”教学现状,培养大学生用英语传播中国文化的跨文化交际能力,带领中国文化“走出去”。  关键词:大学英语教学;“中国文化失语”;一带一路;跨文化交际  引言  “新丝绸之路经济带”和“21世纪
期刊
摘要:数学作为中职教育中的重点学科,其对培养学生的抽象思维能力具有一定的积极作用,对于中职学生而言,抽象思维是强化逻辑思维训练的重要组成部分,对其后续专业知识的学习大有裨益。为此,在中职数学学科教学中,必须重视对分层教学法的应用和探究,切实提升分层教学法应用的科学性与合理性。本文就中职数学学科分层教学现状和应用方法进行论述分析,以期促进中职数学教育的顺利开展。  关键词:中职数学;分层教学;现状;
期刊
摘要:当前高职院校金融课程教学过程中存在教学方式不够与时俱进,教学效率不高等问题,对于院校的自身发展以及学生的金融知识学习有极大的阻碍,需要及时采取合理措施对高职金融课程的教学进行改革,帮助提升金融课程教学的效率与质量,为高职院校的发展以及金融人才的培养提供更有利的条件。  关键词:高职院校;金融课程教学;教学改革;改革对策  引言  高职院校的办学理念是培养更具职业素养的专业向人才,相较于一般的
期刊
摘要:我国经济建设最近几年发展非常迅速,加速我国各行业的发进程,为我国基础建设的不断完善贡献力量。随着我国传统文化及艺术形式不断创新,民间美术作为一种民族艺术形式,在传承与发展中遇到瓶颈。如何将民间美术形式进行有效传承一直备受诸多学者关注。通过近年来研究发现,将民间美术形式融入现代艺术设计中有利于对其发展传承。  关键词:现代艺术设计;民间美术;结合  引言  我国上下五千年,有着非常悠久的历史,
期刊
摘要:从现阶段高职院校教育工作开展实际情况来看,就业指导已经成为了现阶段高等院校最为重要的课程之一,在实际展开教育的过程中,应该注意结合高校思想政治教育特点,保证其与现阶段大学生自身实际接受能力相符合。对大学生进行思想政治教育是促进其学习以及就业的重要方式,基于此,本文也尝试对大学生思想政治教育与就业指导相融合的路径进行了分析。  关键词:大学生;思想政治教育;就业指导;融合路径  在现阶段的形势
期刊
摘要:2019年为响应全国号召,石河子大学医学院积极开展了大规模网络教学,让学生在家中也不落下学校的课程学习,为祖国新生代的力量添砖加瓦。同时本着学有所思,思有所进,进有所改的态度,石河子大学医学院在这次开展的大规模网络教学任务中,积累了一些关于线上教学的授课方法以及教学经验。同时石河子大学医学院的《医学影像诊断学》课程,采用以慕课为基础的线上教学模式,并取得了一定的成果。  关键词:线上教学;慕
期刊
摘要:现代教育理念要求传授学生文化知识的同时,也要对其心理发展情况予以关注,借助心理辅导帮助学生健康发展心理。中职教育中,引入教育心理学开展教学管理工作,不仅能提升工作水平,同时有利于学生身心健康发展。基于此,本文在阐述中职教育教学中教育心理学应用作用的基础上,探讨了具体的应用方法,以供参考与借鉴。  关键词:中职教育教学;教育心理学;应用  教育心理学是研究教育环境下师生心理规律及现象的一门科学
期刊
随着通信技术、大数据以及多媒体技术的发展,多媒体应用已在人们的生活中扮演着越来越重要的角色。移动终端的普及以及视频分辨率的增长使得互联网上传输的视频数据量呈迅猛增长态势,给视频编码带来了前所未有的挑战。近年来,以深度学习为代表的人工智能技术在图像处理、计算机视觉以及自然语言理解等领域取得了巨大的突破。深度神经网络具有强大的非线性表达能力,可以进行端到端训练的方式实现联合优化。如何将深度学习技术与视频编码结合起来,利用深度学习进一步提升视频编码的性能是一个具有价值的课题。
  现有的视频编码标准中采用