基于深度孪生网络的目标实时跟踪算法研究

来源 :江南大学 | 被引量 : 0次 | 上传用户:wowo925
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视觉单目标跟踪作为计算机视觉基础任务之一,在智能视频监控、无人驾驶等领域有着广泛的应用。近些年,基于全卷积孪生网络的目标跟踪算法SiamFC(Siamese Fully Convolutional)由于其在跟踪精度和运行速度都取得较好水准,获得了极大的关注。本文以此为基础研究视觉单目标跟踪,其表现形式为在初始帧给定任意的单个待跟踪目标的信息,在视频的后续帧中预测待跟踪目标的实际位置和尺度大小。本文所提算法在复杂的跟踪场景下既能保证跟踪精度,又能满足实时性,相比当前融合各种复杂机制的跟踪算法,本文所提算法参数量更小,可以被应用到嵌入式等低算力设备中,具有广泛的应用前景。主要研究内容概略如下:(1)针对SiamFC算法在面对目标遮挡、形变、旋转等复杂跟踪场景时,跟踪精度和鲁棒性不佳问题,提出一种基于双分支孪生网络的目标实时跟踪算法,命名为Siam SAF(Siamese Semantic,Appearance and Fusion)。首先使用包含语义分支和外观分支的双分支孪生网络以及融合模块搭建算法网络框架;其次外观分支使用浅层神经网络提取富含结构信息和空间位置的外观特征,语义分支使用深度神经网络提取富含高级语义信息且强鲁棒性的语义特征;最后通过自适应融合模块,融合外观分支和语义分支的响应图。在OTB2015与VOT2018测试集上进行实验,实验结果表明,所提算法在满足实时性要求的前提下,距离精度和重叠成功率相较基线算法分别获得10%和7%的提升。(2)针对SiamFC算法使用浅层神经网络作为特征提取器所提取的特征判别性不足问题,提出一种基于CB-Fire(Crop,Batch Normalization and Fire Module)模块的高帧率目标跟踪算法,命名为Siam Squeeze+。首先使用由Fire模块搭建的轻量级神经网络Squeeze Net作为骨干网络;其次对Fire模块引入特征图裁剪层和批量归一化层构建CB-Fire模块分别解决卷积层的填充操作损害跟踪精度问题和深度网络难以训练问题;最后由CB-Fire模块搭建算法的特征提取网络。Siam Squeeze+所使用的深度特征提取网络在增强提取到的特征的判别性的同时,CB-Fire模块的设计可以有效减少网络的参数量,减少特征提取时间。在OTB2015和VOT2018测试集上进行大量实验表明,所提算法相较基线算法距离精度和重叠成功率分别获得8.1%和6.2%的提升。网络参数量只占基线算法参数量的28.3%,算法远超实时性要求,具有良好的应用前景。(3)针对SiamFC算法的互相关操作中,特征的每个通道对相似度计算的贡献是平均的,跟踪器没有关注对跟踪更有帮助的特征问题,提出一种融合注意力机制的轻量级孪生网络目标实时跟踪算法,命名为CA-Siam Mobile Net。首先使用改进的Mobile Net V1作为特征提取网络,其采用的深度可分离卷积相较传统卷积操作可以有效降低参数量;其次在模板分支的末端添加一种轻量级的通道注意力机制,增强重要通道的权重;最后在OTB2015和VOT2018测试集上进行实验表明,所提算法相较基线算法距离精度和重叠成功率分别获得4.2%和2.8%的提升,网络参数量更小,跟踪精度和速度都显著提升。
其他文献
商标共存现象在我国市场中大量存在,这一现象不可避免且会持续增加。我国《商标法》第59条第3款设定了商标先用权抗辩,在法律层面上承认了商标共存,即在法定条件下,允许在相同或类似的商品上使用与他人相同或近似的商标。这为一些中华老字号和有一定影响的未注册商标打造了保护伞,并对促进品牌建设、维护市场竞争秩序和推动经济高质量发展具有重要作用。但要实现基于商标先用权的商标共存尚且存在诸多困难。混淆可能性理论和
学位
近年来,我国司法实践中性侵害未成年人犯罪案件的数量不断增加,给未成年人健康成长和社会安全埋下了巨大隐患。为了预防这类案件的发生,浙江省慈溪市检察院牵头当地司法局等国家机关,首次出台了公开性侵害未成年人犯罪人员相关信息的规定,以期提醒社会公众,达到预防性侵害犯罪的目的。虽然制度的合法性、科学性饱受质疑,但仍然获得了民众的广泛支持。基于我国性侵害未成年人案件的高发态势与预防措施不足的矛盾,应当创新预防
学位
当前,我国政务公开工作进入了新阶段,信息公开制度不断完善。2019年新修改的《中华人民共和国政府信息公开条例》为公众及时了解政府信息、监督公权力的行使提供了更好的制度保障。尽管我国《民法典》、《个人信息保护法》等一些法律都涉及到个人隐私、个人信息的相关规定,但是经过实证分析后,发现信息公开过程中个人隐私的认定依然是混乱的。同时,在信息公开制度中,必须要注意到公共利益对于隐私保护有着限制作用,这也是
学位
滚动轴承作为机械设备零部件中最基础的旋转体承载机构,其材料性能、结构强度及使用寿命的水平,直接影响到相关设备的性能指标。因此在使用过程中,对滚动轴承进行精准有效的健康状态评估和可靠性维护,是机械设备安全稳定运行的重要保障。为使上述评估维护环节更加智能化,本文围绕滚动轴承振动信号去噪、健康模式识别、性能退化趋势追踪、剩余使用寿命预测等问题展开研究,以提高轴承指标分析与故障分类算法的准确度,主要研究内
学位
现代工业过程日趋复杂,故障类别日益增多,一旦发生故障,不仅会降低经济效益,还可能造成严重的人员伤亡事故。随着计算机技术和数据采集设备的发展,一些工业过程积累了丰富的过程数据,使得基于数据驱动的故障检测技术不断进步,成为保证工业安全运行的重要关键技术。多块建模策略通过对整个工业过程建立多个子块检测模型,能够及时有效地检测规模庞大和具有复杂工况的工业过程,相较于全局模型具有一定的优势。本文在多块建模策
学位
电子废弃物(e-waste)包括生活中常见的移动电话、平板电脑、电脑、电视机、冰箱、空调和其他产品。电子废弃物在固体废物中具有独特的环境和资源性质,拥有铜、铝、铁、金、银、钯、聚合物等数十种可回收材料,是具有较高利用价值的大型“城市矿山”。另一方面,电子废弃物含有重金属和有机污染物,如果处理不当,将对区域生态和人体健康产生严重的负面影响。因此,电子废弃物的回收利用对我国的环境和经济效益具有重要的意
学位
信息物理系统(Cyber physical system,CPS)是一个融合传感装置、通讯设备和计算单元,实现物理设施与信息过程交互的系统,已广泛应用于无人驾驶、交通运输等关键基础设施中。近年来,信息物理系统中频发的攻击事件引起学术界对信息物理系统安全问题的关注。重放攻击是信息物理系统中常见的攻击形式。重放攻击者只需要具有窃听与修改传输数据的能力就可以成功发动攻击而不被检测出。因此,及时高效地检测
学位
在现代工业生产中,控制系统对提升产能有着至关重要的作用,但在实际工程中控制系统的性能良莠不一,即使有好的性能,也会随时间推移逐渐下降,从而影响企业效益。基于方差指标的控制性能评估技术重在利用系统运行时的过程数据对控制系统的方差性能进行评估,通过评估结果可以时刻掌握控制系统性能状态,并为性能不好的回路提供参考基准。论文在分析现有控制性能评估技术的基础上,主要研究内容如下:1)针对单变量系统控制性能评
学位
车间调度是制造业数字化转型的重要技术节点。由于工厂产品生产工艺的日渐复杂,柔性生产车间中的不确定因素也日益增多,使得获取准确的生产参数变得越发困难。依靠传统调度方法不能很好地解决具有不确定生产参数的柔性作业车间调度问题。随着模糊集合理论的发展,利用模糊数表示柔性作业车间中不确定的生产参数,有助于提高调度方案的合理性与可靠性。因此,如何寻找解决此类柔性作业车间模糊调度问题的有效方法,已成为学术界和工
学位
中国即将进入深度老龄化社会,老年人的养老问题越来越受到国家重视,同时伴随着国家城镇化和城乡一体化进程的快速推进,农村年轻人进城务工弱化了传统的家庭养老方式,农村老年人的养老问题更加突出。在积极应对人口老龄化国家战略背景下,需要探索一种新型养老方式来弥补农村家庭养老的弱化,解决农村老年人的养老问题,对此,农村互助性养老模式逐渐受到学界和国家的重视,一致认为农村老年人之间互助能够拓宽养老服务供给渠道,
学位