基于孪生网络的视频目标跟踪技术研究

来源 :北京工业大学 | 被引量 : 0次 | 上传用户:mzl521fnn1314
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视频目标跟踪技术是计算机视觉领域一个长期存在的研究方向。随着社会发展和视频制作技术的普及,对海量视频数据进行自动化内容分析的需求日益增长。视频目标跟踪技术是通过视频中某一给定目标实例,利用计算机自动提取、处理和分析视频后续内容,获取该目标实例在视频中的运动轨迹和外观变化的视频内容分析方法,可以为视频语义内容自动化理解和处理提供较为可靠和准确的数据支撑。视频目标跟踪技术在自动驾驶、人机交互和军事目标定位等领域都具有很大的实际应用价值和广泛的应用前景,一直是工业界和学术界的主要研究目标和方向,但由于视频目标跟踪技术本身所存在的研究难点,以及视频数据固有的复杂多样性,使得视频目标跟踪技术研究在目前依然面临着巨大的挑战。目前,基于深度学习的视频目标跟踪方法由于缺乏对视觉相似目标的判别策略,同时在训练过程中难以获取具有广泛语义目标的训练数据,导致该类方法在跟踪过程中往往难以区分视频序列中语义相同或外观相似的对象。为解决上述问题,本文提出一种基于孪生网络的视频目标跟踪方法。首先,将目标帧和当前帧输入参数共享的深度残差网络,并通过循环交叉注意力模块强化特征全局信息。然后,使用特征调制器生成基于给定目标的调制向量强化搜索分支语义信息,并融合多层卷积特征,获取目标框和当前帧更鲁棒的目标外观信息。最后,通过区域提议网络获得目标跟踪结果;在OTB2015和VOT2018两个公开基准数据集上的实验表明,本文方法相对于传统基于深度学习的视频目标跟踪方法在跟踪精度上获得了较大的提升,同时具备良好的运行速度。本文的主要工作如下:1)已有的跟踪算法容易将与待跟踪目标具有相同语义或相似外观的实例判定为真实目标,导致跟踪失败。针对这一问题,本文提出一种基于特征调制器的视频目标跟踪方法。特征调制器可以基于待跟踪目标生成特征调制向量,增强目标实例在当前帧多层特征中的视觉外观信息,充分利用目标和背景之间的外观差别,为孪生网络添加目标外观指导信息以适应目标新的视觉变化,使得目标实例在区域提议网络中获得更高的响应,从而实现特定于目标实例的跟踪任务。2)基于全卷积孪生网络的视频目标跟踪方法大多使用主干网络最后一层特征作为待跟踪目标定位模块的输入特征,而深层特征大量边缘细节信息丢失,导致跟踪精度降低。本文提出一种基于轻量级多层特征融合的视频目标跟踪方法。轻量级多层特征融合模块融合主干网络生成的多层特征,浅层特征中的边缘细节信息被映射至深层特征,再经过区域提议网络获得跟踪结果。这种特征融合方式不增加额外的可学习参数,并且可以有效避免图像在特征提取过程中目标信息的丢失,在保证跟踪速度的同时提高了跟踪精度。3)深度卷积网络通常使用感受野较小的卷积操作提取图像特征,导致特征无法完全捕获目标的全局信息,并且经过多次卷积操作后会损失大量上下文信息。本文提出一种基于循环交叉注意力的视频目标跟踪方法,在全卷积孪生网络的特征提取过程中,循环交叉注意力模块可以使网络模型更多地关注前景信息即待跟踪目标,并抑制无关背景信息,进一步提升跟踪精度。在公开基准数据集上的实验表明,本文方法可以较为准确地跟踪给定目标。
其他文献
本文研究了乘性噪声干扰下多传感器系统非周期信息融合问题。针对线性离散系统,考虑传感器非均匀异步采样引起的采样信息非周期问题,综合利用概率论、正交投影、Kalman滤波等理论与技术,推导出状态的最优估计。在信息融合过程中基于传感器新息设计事件驱动策略,使得传感器信息有选择地参与滤波运算中。最后结合人工神经网络,推导传感器采样信息丢失情况下的误差补偿算法。主要研究内容如下:(1)为解决多传感器系统中传
学位
轮对是地铁列车与钢轨耦合的关键部件,其服役状态对列车的安全运营产生重要影响。当轮对尺寸参数超限后,会造成列车运行不平稳甚至脱轨等安全事故,因此对地铁轮对尺寸的准确测量和及时检修对列车的安全运行具有重要意义。本文在结合国内外研究现状的基础上,设计了基于多线激光的地铁轮对尺寸参数检测方法,实现了轮对尺寸参数的精确检测。首先对基于多线激光的轮对尺寸检测系统进行了总体设计,同时根据传感器三角测量法设计检测
学位
公共交通工具作为广告的传播媒介能使广告信息的到达率和暴露频次达到较高的水准。针对传统交通广告存在的诸如人数难以精确统计、广告无法智能推送等弊端,本文根据网约车广告传媒公司的实际需求设计了可智能推荐的广告管理系统。该系统以网约车上的设备为广告载体,解决了传统交通广告存在的诸多问题,同时为公司建立了完整的现代化信息管理机制,全面提高了公司的整体运作效率。首先,本文对车载广告系统的业务需求进行了详细介绍
学位
近年来,随着科技发展,作战武器也日益多元化,各式新型武器在战争中崭露头角。无人机蜂群这类目标的出现对传统的舰载武器系统提出挑战,由于传统武器一般采用点杀伤的方式,对这类体积小、灵活性高且数量多的目标无法高效打击。高功率微波武器的出现解决了这一难题,以其打击范围广、效费比高和光速打击目标等优点赢得了各国的青睐。将高功率微波武器作为舰载武器应用于舰载武器系统,也给舰载武器系统火力兼容提出新的问题,其与
学位
随着城市规模的扩大,城市轨道交通服务范围逐渐由中心城区向外扩散。一方面,乘客的出行方向呈现分散化趋势,Y型线路的城市轨道交通随之产生,研究Y型线路的交路计划,能更好地满足主、支线乘客出行需求,提升企业运能和客流需求的匹配度,降低乘客出行成本,节约企业运营成本;一方面,乘客的出行距离越来越长,传统的列车站站停运营模式已无法满足乘客快速、直达的出行需求,快慢车停站方案能更好地吻合客流需求,降低乘客出行
学位
机载光电稳定平台作为一种可搭载光电探测设备的装置,具备敌情侦察、目标定位与跟踪等功能,可实现平台和外部扰动的隔离,保证探测设备的成像精度,具有重要研究意义与应用价值。本文针对国内小型无人飞行器的光电载荷需求,研究并设计了一款机载光电稳定平台,实现对载体扰动的隔离和对目标的稳定跟踪。本文主要完成的内容如下:首先,根据稳定平台的功能需求与性能指标设计了伺服系统总体方案,对主要元器件完成了选型及建模,并
学位
一直以来,各类安全生产事故影响着经济和社会的稳定发展。随着社会城镇化和工业化的提升,事故以更加危险和复杂的形式危害人民和国家的生命财产安全,“8.12天津滨海新区爆炸”、“3.30木里县森林火灾”、“8.29山西农村饭店重大坍塌”等一系列事故历历在目,以检查人员和专家人为判断为主的安全检查和预警机制已不足以应对日益复杂的生产场所的需要。为此,亟需开展针对以检查、执法、统计为主要目标的应急管理系统的
学位
自以比特币为代表的区块链1.0诞生以来,区块链技术获得了广泛的关注。区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式,它可以在互不信任的环境下实现去信任中介的可信交易。与传统数据库技术相比,区块链技术具有防伪造、匿名化、不可篡改以及可溯源等特点,被誉为一种将引发社会变革的新型技术。由于区块链是去中心化结构,缺少可信任机构的监管;并且由于其匿名化的特点,无法获知交易者
学位
高效低排放柴油机均采用高压共轨燃油喷射系统。该系统油轨内高压燃油压力的稳定性是保证多缸喷射一致性及单缸喷油稳定性的前提,因此高压共轨系统非常重视高压油轨燃油压力波动特征,有必要对共轨系统的油轨内压力波动形成原因、传播过程及规律进行详细研究。目前很多研究主要集中在喷油器和油轨之间的高压油管内压力波动,而对于油轨内的压力波动过程及规律研究甚少,本论文以油轨内高压燃油压力波动特征为研究对象,利用仿真计算
学位
伴随我国工业与制造业的发展和进步,我国对公路交通运量的需求逐渐增加。为了保障自身的经济效益,很多运输厂家超载运输,这种违法现象引起了交通管理部门的重视。为了保障公路的安全,维护正常的通行秩序,车辆动态称重技术应运而生。当前,车辆动态称重技术已经发展了数十年,水平已经相当成熟,但其在精度与置信度方面仍然有一定的进步空间。基于以上情况,本文将提升车辆动态称重系统的精确度与置信度作为目的,从车辆动态称重
学位