【摘 要】
：
RGB-T目标跟踪是计算机视觉领域的一个基础研究课题,其目的是利用可见光（RGB）和热红外数据（Thermal Infrared,T）的互补优势实现鲁棒的目标跟踪。相对于RGB目标跟踪,RGB-T目标跟踪可以应对更多的挑战场景,并且可以全天候工作,因此受到越来越多研究学者关注。近年来,多种基于传统机器学习的RGB-T目标跟踪算法及基于深度学习的RGB-T目标跟踪算法先后被提出,促进了RGB-T目标
论文部分内容阅读
RGB-T目标跟踪是计算机视觉领域的一个基础研究课题,其目的是利用可见光（RGB）和热红外数据（Thermal Infrared,T）的互补优势实现鲁棒的目标跟踪。相对于RGB目标跟踪,RGB-T目标跟踪可以应对更多的挑战场景,并且可以全天候工作,因此受到越来越多研究学者关注。近年来,多种基于传统机器学习的RGB-T目标跟踪算法及基于深度学习的RGB-T目标跟踪算法先后被提出,促进了RGB-T目标跟踪的发展。但如何从可见光图像特征和热红外图像特征中挖掘更多的有效信息且抑制干扰信息的影响,以获得鲁棒的跟踪性能,同时,如何在保持性能的前提下提高模型推理速度,仍是值得研究的内容。本文就上述两个方面展开相关研究,其研究内容如下:第一,为从可见光图像特征和热红外图像特征中挖掘更多有效信息且抑制干扰信息的影响,提出一种基于跨模态特征增强的RGB-T目标跟踪模型。与常见的直接进行多模态图像特征融合的方法不同,所提出的模型首先进行跨模态特征增强以有效捕获可见光图像和热红外图像之间的互补信息,然后再对增强后的单模态图像特征进行融合。同时,为抑制干扰,本文还对多模态融合特征和单模态特征进行自适应选择以获取判别性较高的特征,从而提升模型的目标跟踪性能。最后,为进一步提高跟踪精度,本文采用一种边界定位的回归方法对目标跟踪结果进行二次回归。在公开数据集GTOT、RGBT234和Las He R上的实验结果表明,该模型能够有效提高目标跟踪的成功率和精确度。第二,上述模型获得了优异的跟踪性能,但以较大的参数量和计算量为代价,具有较低的跟踪速度。为保持上述模型跟踪性能的同时,提高模型的推理速度,本文进一步提出了一种基于跨模态特征蒸馏的RGB-T目标跟踪方法。该方法首先构建了一种参数量较少的RGB-T目标跟踪模型作为学生网络,然后,以上述基于跨模态特征增强的RGB-T目标跟踪模型为教师网络,采用跨模态特征蒸馏的方法,将教师网络学到的特征迁移到参数量较少的学生网络模型中,以在保持上述模型的跟踪性能的同时,降低模型的参数量和计算量,提高模型的跟踪速度。同样,在公开数据集GTOT、RGBT234和Las He R上,验证了该方法的合理性和有效性。
其他文献
玉米作为重要粮食作物之一,经济价值较高。不论是在玉米作物的生产种植还是新品种培育上,植株表型是关键信息,表型性状的精准获取具有重要意义。传统表型研究方法主要依靠人工测定,存在工作量大、效率低下、容易损伤作物等问题。此外,人工收集作物表型信息难以做到全面、精准,已成为数字农业和育种研究中的技术瓶颈。三维重建技术作为作物形态学研究的有效工具,可实现作物表型量化及精准获取。因此,本文利用自主研发的三维成
随着现代化养殖业的迅猛发展,奶牛场养殖模式呈现数字化、规模化、精确化的发展趋势。我国是农业大国,奶业的发展是我国农业发展的关键因素之一,在奶牛养殖业中还存在很大一部分中小型农户散养模式的奶牛场,这些奶牛场管理粗放、智能化低、人工作业强度大。针对以上问题,本文使用机器视觉技术对泌乳期奶牛进行无接触的个体及行为识别,基于此利用Django框架设计和开发一种中小规模养殖场泌乳期奶牛管理平台,实现对奶牛的
当前制造业正在经历深刻的调整和变革,如何积极有效利用现代信息技术,精准控制工业产品的成本和质量,成为制造业数字化、智能化转型发展的关键。传统制造业供应链管理系统往往围绕某一中心企业的管理平台展开,中心化依赖程度极高,链上信息不透明、不对称、不可靠,难以实现全链可信数据采集和多方互信,致使工业品全过程数据追溯困难,难以提升产品质量和企业内部管理效率。而区块链凭借其分布式、公开、透明和不可篡改的特性,
随着我国禽类养殖业的迅猛发展,越来越多的养殖场实行了标准化、集约化饲养与管理,多数禽舍采用密集的立体化笼养方式,养殖密度大。畜禽舍在秋冬季节通常较为干燥,在喂料和鸡群日常活动过程中会产生扬尘,部分粉尘颗粒会沉积在舍内的鸡笼笼网表面,同时由于鸡群的活动和代谢产生的粪污和羽毛等会附着在笼网表面,如果不能及时清理,会加剧细菌、病毒等病原体的滋生,影响鸡群和饲养人员的健康。当前我国对于鸡笼的清洁大多依靠人
复杂背景中的文本信息提取算法已成为计算机视觉领域重要的研究课题之一,相关技术在工业生产、自动驾驶、信息检索等多个领域有着广泛的应用,其显著降低了工业生产成本,有效推动了工业生产模式朝着智能化和高效率的方向持续发展。为提高文本提取技术在复杂背景下的精度和效率,本文对文本检测与分割算法进行了深入研究,研究成果对于多变背景下复杂形态文本的提取任务具有重要的工程意义与实用价值。本文的主要工作和贡献如下:（
多智能体系统的一致性问题是分布式协同控制的基本问题,其通常假设智能体都是“合作”关系。近十年,合作-竞争多智能体系统的二分一致性作为一类特殊的一致性问题也开始得到了广泛关注。然而随着网络技术的快速发展,多智能体网络越来越复杂,智能体的自治性、异构性和开放性等特性虽在解决大规模、复杂任务上有着优良性能,但同时也带来了安全隐患,因此多智能体系统的安全控制非常重要。目前针对恶意攻击下的多智能体系统,大多
频率选择表面（Frequency Selective Surface,FSS）是一种周期阵列的空间电磁波滤波器,可选择性反射或透射特定波段的电磁波,在飞行器隐身领域应用广泛。飞行器在以高超声速飞行时,机身在空气粘性阻滞作用下温度会升至数百甚至上千摄氏度,而传统FSS只有隐身性能而不具备耐高温能力,在高温下会失效并导致内部电子设备烧毁。液态金属因具有高导热率、高沸点以及良好导电性和流动性可将其作为F
近年来,伴随着空间科学技术的飞速发展,为获取更高质量的电磁波信号,就迫切需要星载天线朝着大口径、轻质量和高精度的方向发展。在如此背景下,可展开星载天线应运而生,根据可展开天线的结构形式不同,又可分为固面式、充气式、环形桁架式、径向肋式、构架式等众多类型,其中,径向肋式索网天线因为结构形式简单、展开稳定性较高等优点得到广泛关注。目前,美俄等西方国家已经研制了多种径向肋式索网天线并投入使用,而我国起步
随着人工智能、计算机技术等新一代信息处理技术的快速发展,机械臂领域的研究及应用也向智能化方向逐渐迈进。在智能制造领域,期望机械臂具备更高水平的学习能力,从而掌握诸如抓取、装配、搬运等技能操作。此外,当面对复杂装配环境或者新任务时,需要针对机械臂训练出适应任务要求的策略模型。本文以工业装配场景中的抓取技能和轴槽装配技能为机械臂学习目标,采用深度强化学习理论与技术训练任务模型。通过对抓取技能中样本利用
深度学习技术的快速发展极大地促进了图像分类任务的进步。然而,深度学习本身是一种数据依赖的学习范式,需要大规模的人工标注数据用以训练模型。在真实世界中,为不可胜举的类别样本进行有效的人工标注是费时费力且不切实际的,此外,对于某些罕见的类别,我们常常难以收集到足够的样本,甚至没有样本以支撑训练。因此,零样本学习（Zero-shot Learning,ZSL）逐渐受到人们的关注,其目标是解决目标任务训练