融合RGB-T模态数据的目标跟踪研究

来源 :重庆大学 | 被引量 : 0次 | 上传用户:misscxj890417L
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近来,目标跟踪技术应用愈发广泛,尤其是在许多工业应用中起着不可替代的作用。为了适应复杂多变的跟踪环境,热红外摄像机也被运用到视频图像采集中。热红外图像可以补充解决可见光下的光照条件敏感问题,可见光图像又可以助力解决热红外图像中的热交叉问题。可见光摄像机采集RGB数据,热红外摄像机采集T数据,这两种模态数据提供了强大的互补信息,将“RGB+T”数据联合完成跟踪,从数据的角度来说也被称为RGB-T跟踪。在实际应用中,例如工业、社区巡逻视频分析中实时性尤其重要;而在离线视频分析中则可以首要考虑精度。本文基于RGB-T数据,以跟踪任务需求为基础,分别以跟踪实时性、跟踪精度为驱动建模。本文的主要贡献及研究内容分述如下:第一,本文提出了基于强时空关联的相关滤波跟踪算法CFSST(Correlation Filters with Strong Spatio-Temporal),强关联由时空特征聚合模块和时空滤波器学习模块组成,CFSST模型将RGB和T特征通道集成到相关滤波器的框架中,再通过快速傅里叶变换加速运算和交替方向乘子法求解优化模型。最后,在GTOT、RGBT234和VOT-TIR2019三个当前主流的基准集上进行了跟踪性能测试,CFSST模型通过快速相关滤波算法和低维数特征实现了较高实时性跟踪。第二,本文提出了基于权重自适应的RGB-T跨模态相关滤波跟踪算法CFAMW(Correlation Filters with Adaptive Modality Weight)。首先,本文利用特征加权完成RGB和T模态的融合,提高模态共享特征的学习能力;其次,将融合模态作为辅助模态来抑制噪声模态,同时,辅助模态作为联合学习一致性的中间变量,通过交互式跨模态学习提高跟踪器的鲁棒性;然后,本文通过平均峰相关系数来设计模态权重和融合模态响应完成目标定位,以提高模型的可靠性;最后,再通过快速傅里叶变换加速运算和交替方向乘子法求解优化模型。在GTOT、RGBT234和VOT-TIR2019三个当前主流的基准集上进行了跟踪性能测试,大量实验表明和其它先进算法比较时CFAMW模型表现出了良好的竞争力。
其他文献
隧道入口区域车车协同问题突出,同时一致性程度是刻画隧道入口区域车车协同机理的重要方式。然而现有针对隧道入口区域车车协同的研究较少,对行驶一致性的描述方法尚不成熟,在该区域以车车协同行驶一致性为切入点的研究面临挑战。因此,研究隧道入口区域车车协同模型,建立对应的一致性描述和控制方法,以提升该区域车车协同性能,对缓解该区域突出的交通问题具有重要的理论意义。为此,论文以车车协同行驶一致性为牵引,建立针对
学位
近年来,随着私家车保有量的飞速提升和城市道路网建设的不断扩张,交通拥堵、碰撞事故和尾气污染等问题日益突出。数据显示在密集的交通流中,道路事故多源于驾驶员主观操作不当,因此对驾驶员的主观驾驶行为特征进行建模与分析成为研究交通问题成因的重要切入点。同时,特殊的道路管理条例和智能车辆等新技术成为了优化道路交通状况的重要议题。随着车联网、人工智能等技术的发展,智能车辆与普通车辆共同行驶在城市道路上的状况将
学位
大量的理论分析、试验和几十年工程经验表明,大多数实际物理系统具有不确定性、受扰性、机理模型复杂、子系统交错等动态特性,保证这类复杂系统的控制性能对控制器设计和稳定性分析带来了极大挑战。本文以提升系统控制精度和稳定速度为目标,重点围绕受扰复杂系统渐近跟踪及预设有限时间控制两个方面展开研究,主要完成的创新性工作如下:(1)研究了一类状态受限情况下带有非消失扰动严格反馈系统(Strict-feedbac
学位
随着社交媒体平台的不断繁荣,社交网络已成为公众生成及传播信息的重要渠道,相关研究受到国内外学者广泛关注。其中,热度预测是社交网络信息传播的热点话题,在舆情跟踪、虚假新闻检测等方面具有重要应用价值。近年来,基于深度学习的端到端信息传播热度预测方法,因其强大的特征提取能力,越来越受到关注。目前大多数方法都显式或隐含地将观察期内的传播规模作为一个关键特征,然而,当观察期较短时,热门和非热门消息的早期传播
学位
如今,互联网模因(Internet Memes)在Twitter和Facebook等社交媒体平台上广泛传播。互联网模因通过图像结合文本的形式呈现,给人们交流和分享提供了新的方式。互联网模因分类旨在识别一个模因表达的情绪和意图。通过对互联网模因挖掘分析,可以进行情绪分析和舆情挖掘,并且可以在一定程度上避免网络暴力行为的发生,有助于营造和谐、稳定的网络环境。互联网模因具备多模态特点,现有互联网模因分类
学位
随着近年来无人机的自主性和灵活性得到了很大程度的提高,无人机已经是一种重要的飞行设备并被广泛的研究和应用。然而由于无人机执行飞行任务时输入的地图不够精确所带来的环境不确定性,以及外界环境的干扰或是自身模型的不确定性带来的控制扰动,使得对无人机自主飞行能力提出了更高的要求。强化学习作为当今热门的一种机器学习的研究领域,为无人机的在具有环境不确定性和干扰的情况下进行路径规划和控制提供了新的解决方案。本
学位
目标跟踪研究作为计算机视觉领域的重要分支在现实中的应用十分广泛,伴随着应用需求的增广,目标跟踪技术也从单模态拓展至多模态,即利用多传感器协同跟踪目标。热红外模态凭借其稳定、应用广的特点成为多模态跟踪的热门选择,RGB-T跟踪是利用可见光(RGB模态)和热红外(T模态)成像的独特优势,在面对光照影响、天气干扰、成像能力限制等问题时进行鲁棒的目标跟踪。目前成对的多模态数据规模有限,且跟踪场景具有一定的
学位
管道运输是天然气运输的主要方式。天然气管道在运输过程中,因管道腐蚀老化、第三方损害等引起管道泄漏将导致巨大的人员伤亡和经济损失。为更好地监测天然气管道运行状态,充分利用SCADA(Supervisory Control And Data Acquisition,数据采集与监视控制)系统中蕴含的大量管道运行状态数据,对天然气管道运行过程中泄漏状态进行检测,能够更好的辅助工程人员综合全面地了解管道的运
学位
随着物联网技术的持续发展,卷积神经网络的边缘端部署逐渐成为了新的技术发展趋势。如何在存算资源受限的边端实现高效的神经网络部署,也成为了目前学术界与工业界研究的热点。深度可分离卷积技术能在保证计算精确度的同时,有效降低网络模型复杂度,能满足边端网络部署轻量化和准确率的需求。研究面向深度可分离卷积神经网络(Depthwise Separable Convolutional Neural Network
学位
由于互联网的快速普及,越来越多的网络用户在互联网上发表自己的观点评论,这些观点评论中包含了大量的情感信息,利用这些情感信息可以有效的促进社会的经济发展,维护社会的稳定。因此,文本的细粒度情感分析逐渐成为自然语言处理的热点问题。本文主要针对基于方面类别的情感分析任务(ACSA)展开研究,提出了基于多示例学习的方面情感联合分析模型(ACSA-MIJLN)和基于双注意力的联合方面情感分类模型(AS-DA
学位