基于时空上下文融合的视频目标检测研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:gaolch015
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目标检测指的是通过算法从图片或视频中的找出所有感兴趣的目标,并确定他们的位置和类别,它是诸多计算机视觉任务需要解决的最基础的问题之一,具有重要的研究意义及实用价值。随着人工智能技术和硬件水平的迅速发展,越来越多的研究者将深度学习技术应用在了目标检测领域,以R-CNN系列和YOLO系列为代表的经典算法在检测速度和精度上有了巨大的提升,从此,基于深度学习的方法在目标检测领域占据了主流地位。然而,将这种基于图像的目标检测应用到视频领域往往不能令人满意,因为运动模糊、相机失焦和视频中经常遇到的罕见姿态等问题会导致外观恶化。仅仅依靠静态图像是无法有效解决这些问题的。视频可以提供包含多帧图像的上下文和时间信息。结合这些信息可以更有效地解决上述问题。本论文研究基于时空上下文的视频目标检测方法,使用特征融合模块通过建模目标的时空关系,提升了特征表达能力,m AP提升了2个点;使用特征传播模块去除相邻图像的冗余性,提升了算法的检测速度。针对上诉思想,本文主要做了以下两个工作:1.为了更有效地利用视频中的时空信息,提出了一种基于循环神经网络的特征融合视频目标检测方法。给定一段视频,每一帧首先由CNN进行处理以提取特征。在特征图上使用光流模型来估计相邻帧之间的运动信息。通过结合运动信息和相邻帧特征,提高当前帧的特征表达,获得更高质量的检测结果。并使用嵌入模块,得到具有时间一致性权重,从而提高视频目标检测性能。我们还引入了双向的Conv LSTM,有效地建立跨帧的时间信息,为后续检测器提供更高质量的特征。2.提出了一种基于关键帧策略的快速视频目标检测算法。密集的特征计算和融合虽然显著地提升了检测精度,但是损失了运行速度。本算法引入了关键帧的策略,提出了一种新的视频目标检测框架,从每n个帧中选取m个作为关键帧,其中,关键帧的特征由特征提取网络计算得到;非关键帧的特征,由多个关键帧到该帧的传播特征融合得到。实验表明,通过调节m/n的值,可以得到具有不同准确率和速率的模型,以适用于不同的场景和需求。
其他文献
挥发性有机物(VOCs)作为臭氧(O3)主要前体物而被研究防控是削减O3的关键环节。珠三角VOCs首要贡献源以轻型车为主的机动车尾气排放解析停留在稀疏样本量、单一工况这些局限性层面的考量,且无法精细化识别VOCs排放的动态特征。因此当前排放模型的构建等工作始终未能得到基于较全面实测研究的支撑。本研究针对当前研究的关键问题搭建了在线与离线VOCs测量系统,在珠三角地区开展台架测试实验,对广州市在用的
本文对集成式电液制动系统(I-EHB)的重要部件和结构进行了设计。首先对简化后的线性系统进行建模,推导出不考虑摩擦等非线性扰动下系统的传递函数。其次搭建I-EHB系统试验台架,利用Stribeck摩擦模型对系统静、动摩擦阶段的摩擦力矩参数进行辨识,以得到更为准确的摩擦模型。然后,基于摩擦干扰的I-EHB系统模型,设计了压力-速度-电流环的三回路串级PID控制器,并加入基于系统模型的前馈控制器,随后
随着老龄化程度的不断加深,老年人的养老和就医成为了一大难题。老年人相比起其他年龄段的人患病风险更高,也因此受到二次损伤的概率也变大。病症带来了一系列的问题,偏瘫、肌无力等都是常见的情况。康复训练作为治疗此类问题的主要方式,成为人们日益关注的重心。但由于医疗资源紧张,价格昂贵,国内对于康复医疗资源的普及度不够,很多老年人的病症并不能得到有效的治疗。同时,康复训练过程耗时长,见效慢,更是使老年人无法坚
当今,由于石油化工材料对环境的威胁以及地球石油化石资源的加速消耗,生物基可再生材料的研发和扩展已经是国内外学者研究的重点课题,以聚乳酸(PLA)和天然橡胶(NR)等为代表的生物基可再生材料的改性和补强成为生物基可再生材料研究的主要内容,如何使生物基可再生材料的性能和工艺能够适应现代工业与科技的应用条件一直是研究者要面对的重大难题。自愈合改性是一种可持续性强,资源友好性高的改性方法,自愈合性能赋予材
淀粉-脂质复合物是一类由直链淀粉与脂质通过疏水相互作用形成的V型复合物,属于5型抗性淀粉(type 5 resistant starch,RS5),对人体健康具有重要意义。RS5能够降低肠道p H值、增加短链脂肪酸(short-chain fatty acids,SCFAs)产量、促进肠道有益菌增长并减少有害菌的数量等。已有文献证明了抗性淀粉(resistant starch,RS)在体内、体外对
钢桁梁柔性拱桥是一种同时拥有较大跨越能力和较强结构刚度的桥梁结构形式,克服了大跨度桥梁刚度不足的缺点,受到了工程界的重视,但目前针对钢桁梁柔性拱桥的施工控制方法研究较少。本文以世界最大跨度铁路连续钢桁梁柔性拱桥施工为工程背景,对钢桁梁悬臂拼装施工控制技术、钢桁梁顶落梁合龙施工控制技术和柔性拱卧拼与提升控制技术进行了研究,主要工作如下:(1)进行了钢桁梁悬臂拼装受力分析,计算了钢桁梁无应力线形和杆件
城中村改造是一个涉及多方主体参与的博弈过程,其推进存在一定的困难,关键是其利益难以达到均衡。本文运用逆推演绎法理论,通过博弈达到均衡状态来反推城中村改造中各主体的利益博弈,建立博弈模型,确定各方利益主体的博弈策略及博弈收益,发现在政府提供政策、村委合作、村民支持、开发商参与城中村改造等四种条件下,得到博弈均衡结果。即政府提供政策、村委合作、村民支持、开发商参与城中村改造;政府提供政策、村委合作、村
毛细血管在人体中分布广泛,具有参与血液运输、物质交换和免疫调节等重要的生理功能。在体外模拟毛细血管结构和功能对我们深入了解毛细血管的功用及构建人工组织和器官起着举足轻重的作用。目前在组织工程领域,中空水凝胶纤维被公认较为适合用于模拟天然毛细血管。在众多中空水凝胶纤维制备方法中,同轴微流控技术是一种较为常见的方法。然而,传统的基于光刻技术的制备方法存在着时间冗长,操作复杂等缺点,不利于制备具有三维结
烟梗是烟叶中粗叶脉部分,是烟草加工中重要的副产物。我国每年约有数十万吨的烟梗没有被充分利用而废弃,造成了资源的浪费和环境污染。多孔炭因具有高比表面积、丰富孔道、良好的热稳定性且无毒性等特点,作为吸附剂在水处理、精油和药物包封缓释等方面具有广泛的应用。以烟梗为原料制备多孔炭吸附材料,是实现其高值化利用的有效途径,具有重要的研究意义和应用价值。然而,传统单组分活化剂所制备的多孔炭以微孔为主,更为重要的
伴随科技工业和国民经济的不断进步,现代汽车保有量和其产生的数据量呈现爆炸性增长,向原有通信系统中引入具有通信需求的车辆节点后将造成车辆之间传输冲突率大幅上升、信道接入延迟时间持续增加、信道接入竞争强度增高、通信资源短缺等问题。通过将设备到设备(Device-to-Device,D2D)技术引入车辆节点之间(Vehicle to Vehicle,V2V)通信中可以使得相邻的车辆用户(Vehicle