基于双层特征增强和时空特征融合的热红外目标跟踪研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:LJX22766966
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目标跟踪作为计算机视觉的一个基本问题,近年来得到了广泛的研究和应用,发展十分迅速。其任务是利用图像序列中的信息,在给定目标初始状态的情况下预测目标后续的运动状态。目前,基于可见光图像的目标跟踪方法已经在VOT、La SOT等数据集上取得了很好的效果。然而,可见光目标跟踪方法在光照不足的场景下无法正常工作,此时能够全天候工作的热红外目标跟踪方法可以发挥重大作用。现有的热红外目标跟踪方法主要基于孪生网络框架,通过离线学习一个相似度匹配函数,取得了不错的效果,但是仍然存在一些问题。一方面,现有的热红外目标跟踪方法只使用单一的高层特征进行特征匹配,忽略了低层特征蕴含的局部细节信息;另一方面,现有的方法大多只利用了模板特征,缺乏对图像序列中时序信息的利用。针对这些问题,本课题分别从利用双层特征和利用时空特征两个角度对热红外目标跟踪方法进行研究:热红外图像具有与可见光图像不同的特性,其缺少颜色、边缘模糊、缺乏丰富的纹理信息且分辨率较低。这些特性导致单一的高层特征无法区分目标与相似物体且目标定位精度较低。因此,本课题设计了一个双层特征增强网络,通过跨分支的上下文建模,学习判别能力更强的局部细节特征和全局语义特征进行特征匹配。为了更有效地融合不同层级特征的互补性信息,本课题提出了一个决策层融合策略对跟踪结果进行自适应融合。在PTB-TIR和LSOTB-TIR热红外目标跟踪数据集上的实验结果表明该方法在鲁棒性、精确度等评估指标均优于基线模型,在四个热红外目标跟踪数据集上也优于大部分的热红外目标跟踪方法。这验证了基于双层特征增强的热红外目标跟踪方法的有效性。现有的热红外目标跟踪方法只利用了模板特征。针对此问题,本课题进一步挖掘图像序列中的时序信息,提出了基于时空特征融合的热红外目标跟踪方法。所提的时空特征融合网络由时空信息编码模块和时空特征融合模块组成。时空信息编码模块利用一种基于窗口的时序注意力机制将时空注意力分离,从而高效地编码跟踪历史帧中蕴含的时空信息,增强历史帧的特征表示。时空特征融合模块将增强的历史帧特征分别与模板特征和搜索帧特征融合,得到融合时空信息的特征。在LSOTB-TIR数据集上的实验表明该方法相比于当前最好的热红外目标跟踪方法在成功率上提升8.5%,在其他三个热红外目标跟踪数据集上也优于大部分前沿方法,达到了目前的先进水平。
其他文献
人工智能是面向未来的一种关键性、战略性技术科学,而机器博弈作为人工智能的重要研究领域之一,自诞生起就一直是人工智能发展水平的试金石。根据博弈者是否能够获取到博弈中的全部信息,机器博弈又分为完备信息博弈和非完备信息博弈两种。其中非完备信息博弈因存在不可观察的信息,会包含诸如欺诈、猜测、虚张声势等情景,更加贴近现实世界中的一般博弈场景。现实世界中的战场指挥、金融决策、谈判等场景都存在隐藏信息,都可以被
学位
人体热舒适是一种“心理状态”,表现为对热环境的满意度,是一种主观评估。其中人体对热环境的反馈主要通过神经系统来调节,而下丘脑扮演着“控制者”的角色,当下丘脑接收到热感受器的输入后便会开始温度调节的进程。通过研究人体在不同热环境下的生理参数,对于了解人体热舒适状态,进而制定出符合人体真实需求的热舒适策略是十分重要的。不仅可以提高人体对热环境的满意度,还可以优化建筑能源的消耗,减少碳排放,具有极其重要
学位
近几年,随着无人机广泛的普及,航拍图像的目标检测被运用在越来越多的领域中,包括监控安防、灾难搜救、边境巡查等。目标检测能极大地提高无人机的环境感知能力,是实现多任务、多场景无人机智能化的核心技术。相比地面场景的图像数据集,航拍图像数据集有着独特的数据分布,导致通用目标检测算法无法直接运用在航拍场景。航拍图像中目标检测的难点包括小目标检测精度低、目标尺度差异大和类别间数量不平衡。现有方法大部分采用基
学位
龋齿是一种严重影响儿童身心健康的常见口腔病,在儿童群体中具有患病率高、分布广的特点,及时筛查出龋齿并进行早期治疗与干预能帮助儿童阻止龋齿加重和后续其它口腔疾病的发生,也能在投入较低成本的同时减轻社会公共卫生经济负担。早期龋齿的筛查对儿童龋齿预防与治疗具有着重要意义。同时,我国口腔医师资源不足、检测能力有限,为了缓解医师诊断压力,提高龋齿诊断准确率,简化儿童龋齿筛查流程,使用计算机辅助检测儿童龋齿十
学位
随着机器学习技术的发展,世界已经进入数字经济时代,然而数据中的隐私保护问题仍是目前尚未解决的难题。越来越多的隐私计算技术被用于隐私保护的机器学习场景中,其中多密钥全同态加密技术允许各参与方使用各自的密钥加密隐私数据,并支持第三方服务器在没有任何参与方密钥与明文的情况下,对不同密钥加密下的密文进行运算,成为隐私计算技术中的重要研究方向。第一个拥有实际实现的多密钥全同态加密方案MKTFHE提供了一个多
学位
随着大数据时代的到来,学者的信息获取与交流变得更加便捷与频繁。科技为学者之间的交流提供了信息基础,但是也带来了信息过载的问题。如何从海量且良莠不齐的数据中,挖掘出有效的信息进行学者表示与推荐显得尤为重要。目前,学者表示方面的研究大多基于平铺型数据来提取学者的主题表示,但忽略了学者信息间的层次化关系。对于学术合作者推荐问题,现有方法大多利用学者的内容特征或网络结构特征的相似性进行推荐,缺乏对高潜力合
学位
辐射暴露会造成多种组织和细胞不同程度的损伤。放射性心脏病(Radiation-induced heart disease,RIHD)和放射性肺损伤(Radiation induced lung injury,RILI)是胸部肿瘤患者接受放射治疗后较为常见的并发症,目前对于这两种疾病的防治尚缺乏有效的方法,多数患者预后不良,生存质量差。骨髓造血系统由于其放射敏感性,也容易发生辐射损伤。本研究基于γ射
学位
受伤后失血休克的处理原则是尽早输血治疗防止凝血因子的稀释而不能正常凝结。输血中所需的红细胞,除了捐献者新鲜的血液外,大多来自血库低温存储的库存血。无论是低温储存还是冻存,红细胞的储存损伤使得红细胞质量退化,细胞老化,在临床上输血后会有较高的致死风险。本研究围绕红细胞长时间储存质量监控和输血安全的重大需求,建立离体储存红细胞变形性的光学检测方法,为红细胞储存条件筛选和长期储存红细胞的质量监控提供技术
学位
随着现代科技的不断发展进步和人们生活水平的改善,消费者对饮食质量和健康状况的追求日益提高,对动植物食品的冻融方式和新鲜品质提出了新的要求。但是肉与肉制品中富含蛋白质营养成分,且水分活性较高,在冻结解冻过程中会造成食物品质的腐败变质,特别是因水分渗透性的损失,蛋白质变性和物理损伤等都会引起食品在质构,味道和颜色方面发生明显的变化,这不仅导致经济上的损失和环境污染,更严重的是危及人们的生命健康。本论文
学位
超短期风功率预测是风功率预测的重要研究内容之一。随着风电产业的发展,风功率预测经历了数十年的研究,在中长期预测任务中取得了较大的进展,而超短期预测任务由于其对预测的时间粒度要求较高,且国家规定的指标较严,一直是风功率预测的一大难题。同时,超短期预测的准确性又关乎着国家的电网安全,是一个重要而又充满挑战的实际问题。对于超短期风功率预测的研究,目前主流的方法仍是使用时序数据建模分析或结合单点NWP气象
学位