【摘 要】
:
近年来,多模态数据目标跟踪成为视觉目标跟踪研究的一个重要分支。受成像原理影响,单模态(可见光)目标跟踪性能容易受环境干扰。而多模态(可见光和热红外)目标跟踪中,热红外通过传感器采集物体温度差异成像,虽然热红外图像的纹理细节等信息不如可见光图像好,但它不受光照等因素干扰。在充分挖掘两种模态特征,并形成两种模态特征高质量互补条件下,多模态数据目标跟踪可以实现更鲁棒的性能。因此,本文利用深度学习强大的特
论文部分内容阅读
近年来,多模态数据目标跟踪成为视觉目标跟踪研究的一个重要分支。受成像原理影响,单模态(可见光)目标跟踪性能容易受环境干扰。而多模态(可见光和热红外)目标跟踪中,热红外通过传感器采集物体温度差异成像,虽然热红外图像的纹理细节等信息不如可见光图像好,但它不受光照等因素干扰。在充分挖掘两种模态特征,并形成两种模态特征高质量互补条件下,多模态数据目标跟踪可以实现更鲁棒的性能。因此,本文利用深度学习强大的特征提取能力,对多模态数据目标跟踪进行了研究,提出了两种在深度学习框架下的多模态数据目标跟踪方法,主要内容如下:(1)针对光照条件差,目标被遮挡等干扰因素,提出了一种基于注意力机制下跨模态交互的多模态数据目标跟踪方法。首先,设计了一个满足多模态数据目标跟踪需求的网络结构,并在算法上继承了多域学习的优点;然后,在网络中引入了一种轻量型的注意力机制,有效降低了噪声的干扰,有利于网络得到高质量的多模态互补特征;最后,提出了一种跨模态层层交互的模块,解决模态间交互不充分的问题。实验结果表明该方法性能优越,尤其在应对光照和遮挡挑战时有出色的效果。(2)针对目标尺度变化这一挑战,整体上实现两种模态特征自适应互相指导学习并抑制噪声的干扰,提出了一种多尺度特征调制的多模态数据目标跟踪方法。首先,在网络中加入了一个多尺度特征模块,生成多尺度特征来克服尺度问题对跟踪的影响;然后,通过对不同模态的多尺度特征进行互相调制,实现两种模态自适应指导学习,增强特征表示能力;最后,考虑到多模态间相互作用时的噪声干扰问题,在模型中引入了双重门控机制,它能有效抑制噪声。实验证明了该方法的有效性。
其他文献
在研究电波传播特性和无线通信覆盖时,由于目前的电磁波仿真软件存在交互性差,获取大量仿真数据困难的问题。本文基于Maxwell方程组和传播环境地形地貌特征,建立了电波传播抛物线方程(Parabolic Equation,PE),采用分步傅里叶解法(Split-Step Fourier Transform,SSFT)编写了Matlab程序和用户界面,研究了地形与建筑物对电波传播特性的影响,并与四种电磁
图像融合技术在现实生活中的遥感,图像增强,监控,医学检测等许多领域发挥着重要作用,而本研究方向即红外与可见光图像融合也是一个十分关键的技术分支,可以被广泛地应用到目标识别检测,安全生产监测,以及军事作战各领域。本研究简要的介绍了研究领域中的相关技术理论,以及目前本领域存在的方法。在目前已存在各种图像融合算法中,本研究首先提出了一种新的融合框架,即基于密集网络的Dual-transformer(DT
本报告系笔者翻译实践的总结,源语文本是人物传记《亨利四世》中的节选,主要讲述法国国王亨利四世即位前,作为新教徒首领所参与的与天主教之间的宗教战争。翻译过程中,笔者感受到传记文本文学性和历史性的双重特征,要求译者在翻译时不仅要严格遵循源语文本的概念信息,还要尽可能再现其风格特征。各种风格标记是风格特征的主要体现,风格特征的翻译再现主要是通过各个维度风格标记的处理来实现。刘宓庆的风格标记理论(1990
随着车辆的快速增长和人们对交通安全与效率的要求逐步提高,交通安全和道路已经被赋予了更多智能化的功能。然而要想实现车联万物的智能系统,需要强大的计算能力与稳定的通信能力,尽管车辆的计算能力和运行内存之类的配置变得越来越强大,受制于车辆本身的结构、体积和重量限制,对于高强度的计算与通信任务仍然显得能力不足。在以往的解决办法中,一般是将车辆的计算任务上传到集中式的云计算中心进行计算,尽管集中式的云计算中
在传统油画中,“女人体”是经久不衰的主题。在人们没有女性主义意识的过去,“女人体”的作品也总是自然而然地跟美与诱惑,裸露与遮蔽“性”,“爱”与“欲望”,权力与观看等话题联系着。随着时代的发展,思想的启蒙,越来越多的女性投入到艺术创作中来。在女性艺术家笔下,“女人体”更是被赋予了与以往不同的意义。本文从女人体这一客体出发,探索“女人体”其本身的意义。同时,笔者结合自己的专业,从日常学习生活中吸取灵感
时代的不断更新决定了艺术的不断变化,所以中国工笔画也注定不会在同一种审美趣味与精神面貌上停滞不前。如今,随着经济的高速发展,信息时代的来临,中国传统工笔画在时代的洪流里也面临改革与创新。进入二十一世纪后,当代东西方文化互相交融的大环境给艺术家们提供了更多发展方向,其中西方超现实主义绘画中在幻觉的世界里释放自我潜意识的情感表达,突破了理性的藩篱,使人在情感的表现上获得真正的自由,这一艺术特点正在无形
图像融合指整合不同传感器采集到的关于某一场景图像信息的处理过程,是信息处理的一个细分领域。图像融合技术旨在改善图像质量,提高几何配准精度或信噪比,有效克服目标提取与识别中图像数据的不完整。高效的图像融合方法可以综合处理多源通道的信息,有效提高图像的可利用性,提高图像处理系统对图像所包含信息进行目标检测、目标识别、内容理解等的判别精度。本文针对多聚焦图像融合和多模态医学图像融合这两个图像融合中的热门
现代通信技术的飞速发展与无线网络设备的广泛普及,目前无线感知技术正逐步应用于人类的日常生活之中。其中,通过Wi-Fi信道状态信息(Channel State Information,CSI)进行无线感知的关键技术倍受重视。与基于传感器和视频图像的感知技术相比,其拥有着部署广泛、隐私安全、鲁棒性强等优势,因此受到了越来越多研究人员的青睐,已经在室内定位、入侵检测、呼吸监测和行为识别等众多领域。尽管无
本文以无线电环境地图为切入点,不仅讨论了它的主要构建算法,并在收集到发射源数据及信息的基础上,构建4G基站和调频广播知识图谱。无线电环境地图是一个储存无线电相关资料的多维数据库,从发展趋势上一般可以分为两种方式对其进行展示和描述:一是将地图进行可视化的形式展示,二是将地图信息储存以数据库的形式描述。本文立足于无线电环境地图的表现形式,将卷积自编码器模型的深度学习方法作为其核心构建方法,并构建4G基
图像修复旨在利用图像已知区域还原缺失部分以得到合理的内容,其在图像处理领域与计算机视觉领域有重要的研究价值,在图像编辑,目标移除等方面也有广泛应用。目前在图像修复领域,基于深度学习的修复方法颇受青睐,取得了不错的成绩,但在大面积破损图像修复任务中,仍然存在较多问题。针对现有算法修复背景复杂的大规模洞孔出现的纹理模糊,结构错乱等问题,提出基于混合空洞卷积模块(Hybrid Dilated Convo