基于时—空关联性学习的视觉跟踪方法

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:suzhouxyz
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视觉跟踪作为计算机视觉任务的一个重要分枝,在智能监控、人机交互、智能驾驶等领域得到广泛的应用。在复杂环境下,目标在运动过程中由于自身形态的变化,或者环境因素对目标表观的干扰,都易引起跟踪器性能的下降,使得鲁棒的跟踪动态变化的目标成为一项艰巨的任务。因此,如何利用样本间的相关信息为跟踪模型提供更丰富的学习数据,如何根据目标的变化构建出合理的跟踪模型,是提升跟踪性能的关键。为此,本文以视觉跟踪主流方法的深度学习和相关滤波器模型为研究基础,结合样本的时间维度信息和空间维度信息,重点研究基于相关滤波器跟踪方法的边界效应自适应抑制以及基于深度网络跟踪模型的样本信息优化问题。本文主要的研究内容和方法概括如下:(1)提出一种基于贝叶斯相关滤波器学习的视觉跟踪方法。针对相关滤波器跟踪模型的边界效应抑制问题,为了使跟踪器可以应对目标在运动过程中的形态变化,研究边界效应的自适应抑制方法是提升相关滤波器跟踪性能的关键。针对以上问题,本文提出使用结构高斯尺度混合模型分解相关滤波器的跟踪方法。具体的,相关滤波器系数被高斯尺度混合模型分解为稀疏乘子和高斯尺度向量的乘积表示,稀疏乘子可以自适应的学习目标和背景的区域信息,通过与高斯尺度因子相结合,使得滤波器在学习高斯系数的同时被稀疏乘子约束,实现了相关滤波器边界效应的自适应抑制;其次,考虑到目标相邻点之间的相关性,引入结构高斯尺度混合模型对目标和背景的空间相关性信息进行建模。最后,通过多个测试集的结果证明了所提模型有利于相关滤波器跟踪性能的提升。(2)提出一种基于时-空信息建模的相关滤波器跟踪方法。相关滤波器的边界效应和模型衰减问题都是制约跟踪性能的关键。针对以上问题,本文提出基于时-空信息建模的相关滤波器跟踪方法。通过对时间信息和空间信息的同时建模,实现边界效应的自适应抑制和缓解模型衰减问题。具体的,使用高斯尺度混合模型对跟踪目标进行稀疏建模,实现了对相关滤波器边界效应的自适应抑制;然后,使用非零均值的高斯尺度混合模型对相关滤波器进行分解,把学习到的滤波器系数通过均值参数传递到后续的模型更新学习中,实现时间信息的自适应建模,时间信息的计算不涉及额外的计算参数,不影响模型的运算复杂度。进一步的,考虑到目标内部特征间的相关性,引入非零均值的结构高斯尺度混合模型对目标的空间相关性信息进行建模,从而实现了基于时-空高斯尺度混合模型分解的相关滤波器跟踪方法。最后,通过在不同的跟踪框架的对比实验证明了所提模型有利于提升跟踪器的定位精度。(3)提出一种基于自注意力机制的视觉跟踪方法。基于孪生网络的跟踪算法通过计算目标模板和搜索样本的相似度进行跟踪处理,当目标在运动过程中的表观形态变化较大时,单一的目标模板无法提供有效的匹配特征,不利于目标的跟踪处理。合理的利用与搜索样本高度相关的历史数据,有利于跟踪模型处理目标的表观变化问题。针对以上问题,本文提出基于自注意力机制的视觉跟踪方法。首先,使用多历史样本作为目标模板信息,与使用单一目标模板的方法相比,多参考目标模板方式可以提供更加丰富的目标多样性信息。其次,使用自注意力模块计算搜索样本和目标模板数据的相关性,获取样本在时间维度的关联信息。然后,根据搜索样本的空间结构信息,使用查询-读取模块从目标模板中筛选出有利于搜索样本跟踪计算的有效特征信息。时间信息模块和空间信息模块的联合使用实现了模型对模板样本的筛选,提升了模型的目标辨识能力和跟踪性能。进一步的,使用边框生成方式对目标边框进行处理,有利于模型应对目标的外观变化问题。最后,不同的测试集的结果验证了所提模型的有效性。
其他文献
孢囊线虫是危害作物的重要病原物之一,在我国发生较为严重的是大豆孢囊线虫和禾谷孢囊线虫,导致作物生长缓慢、矮小瘦弱、叶片发黄,根系不发达,在须根上可观察到乳白色至淡黄色雌虫。在坝上高寒区,尚缺乏对孢囊线虫种类、寄主范围、生理小种和生防真菌的系统研究。本研究调查了坝上高寒区孢囊线虫的种类,采用形态学和分子生物学方法进行鉴定;通过盆栽试验测定甜菜孢囊线虫的寄主范围;采用雌虫指数法鉴定大豆孢囊线虫的生理小
学位
伴随着乡村振兴战略的推进及农村经济的快速发展,农户创业逐渐成为促进农民增收,解决农民就业问题的核心驱动。农户创业选择面临融资约束,同时农户创业的可持续发展也需要源源不断的资金投入。因此如何解决农户创业的外在金融支持及提升自身融资能力,是当前以及未来亟需解决的现实问题。近年来,随着互联网技术与金融业不断融合发展,改变了传统金融的供给结构,倒逼传统金融改革和创新,数字普惠金融应运而生。以金融机构和互联
学位
裸藻,又称眼虫、绿虫藻,在淡水生物群落中普遍存在,是一类兼具动物和植物特征的单细胞真核生物。它能够自养、异养和兼养生长,但自养条件下生物量产量相对较低,因此近年来其异养培养更受工业应用的重视。其产生的生物制品包括蛋白质、各种必需氨基酸、生育酚、脂质和β-1,3-葡聚糖(副淀粉)等,具有重要的商业开发价值。裸藻生长会受到光强温度等培养环境的影响,也会受到培养基中营养成分(碳源、氮源等)的影响,因此探
学位
牡蛎是中国产量最高的贝类。牡蛎肉味道鲜美、营养丰富,具有独特的功能性和药用价值。牡蛎中蛋白质含量最高可达50%以上(以干重计),且牡蛎蛋白(oyster protein,OP)中富含必需氨基酸,是一种极为优质的水产蛋白,极具开发潜力。然而,天然的OP存在溶解度低、致敏性高、营养成分受热易破坏等问题,使其功能性质不能完全满足于食品工业的需求,严重限制OP的开发及应用。因此,本研究利用超声联合球磨处理
学位
植物源农药是新农药创制的主要方向之一。实验室前期通过对110种中草药提取物杀虫活性筛选,发现荸荠(Eleocharis dulcis(Burm.f.)Trin.)皮提取物具有较好的杀蚜活性,然而,其杀蚜成分尚未见系统报道。因此,本研究采用活性追踪分离法对荸荠皮提取物进行分离鉴定,以期明确其杀蚜活性物质,为新型植物源杀蚜剂的创制提供先导化合物,并将提取物开发成制剂,为该新型植物源杀蚜剂的开发应用奠定
学位
随着大数据、智能计算以及云计算等技术的发展,基于总线架构的多核片上系统So C(System-on-Chip,So C)已经不能适应数据处理的需求,与此同时,基于片上网络(Network-on-Chip,No C)通信互连模式并拥有大规模处理核心的So C成为了未来高性能数据处理系统的发展趋势。制造工艺、生产缺陷、工作环境以及系统本身的复杂性等因素极大增加了片上系统出现故障的概率,片上网络容错路由
学位
玉米是我国栽培规模最大、总产最高的粮食作物。随着耕种方式和气候条件的变化,一些玉米病害频发且呈逐年加重态势,其中由镰孢菌引起的玉米病害不仅造成玉米产量下降、还能产生危害人畜健康的真菌毒素。目前依旧没有对其高效防控的药剂。明确土壤微生态变化特征,继而通过微生态调控达到病害控制的目的,也许是将来防控玉米镰孢菌病害的最佳解决方案。本研究从玉米镰孢菌病害发病严重的根际土壤中,筛选高效拮抗拟轮枝镰孢(Fus
学位
<正>数量众多、器型齐全的成套晚清宫廷庆典用瓷,是故宫博物院藏瓷的一大看点。其中以同治皇帝大婚瓷的烧制最为悉心,也最能体现皇家的奢华尊贵。同治皇帝大婚瓷器采用色地粉彩装饰,设色艳丽,图案纹饰寓意祥瑞,充满喜庆气氛,彰显着"同治中兴"之象。
期刊
作为最早被人类认识的物理现象之一,磁现象是普遍存在且多种多样的。要想认识和解释许多生活中的物理现象和过程,都必须考虑磁力这一重要因素。因此,作为研究磁现象的重要技术,磁场检测技术在漫长的发展中得到了广泛的应用。在目前较为常见的磁场检测系统中,基于霍尔效应的磁场检测系统凭借其在成本、功耗、线性范围以及集成度等方面的优秀整体表现,被广泛应用于国防科技、汽车电子、工业控制和消费电子中。然而,随着现代半导
学位
秸秆还田是世界范围公认的增加土壤肥力的一种增产措施,在减少由秸秆焚烧导致的污染的同时,还能对作物生长发育起到促进作用。但若方法不当,会导致土壤中病原菌的积累,引起植物病害。近年来随着秸秆还田措施的推行,玉米茎腐病由次要玉米病害上升为主要病害,对玉米生长发育造成了严重威胁。我国引起玉米茎腐病的病原菌主要是镰孢和腐霉等多种真菌,可以单独或复合侵染。本研究从2019年开始选择东北、西北、黄淮海、西南4个
学位