深度视频物体检测中的时空上下文及时序调度算法研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:camino
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视频物体检测,即对视频中每一帧上出现的物体进行定位和分类,是计算机视觉中一个基础的问题之一。在现实生活中,它具有广泛的应用场景,如自动驾驶、视频监控、智慧城市等。近年来,基于特征聚合的视频物体检测算法主要依赖于推断特征的一致性。像素或者示例层次特征的一致性估计是一个很困难的问题,因为视频中常出现图像质量退化现象,如:运动模糊、视频失焦、物体遮挡等,这使得特征一致性估计的结果不稳定。此外在实际应用场景中布署视频物体检测系统通常在速度、性能等方面有较高的要求,因为硬件设备的计算能力通常有限,当前主流的视频物体检测算法未将这些因素纳入考虑范围,因此距离实际应用还有一定的距离。针对这些问题本文分别从检测精度和检测速度两个角度出发,提出相应的解决方案。具体地,本文的贡献包括如下几个方面:1.提出一个物体候选框层次的特征聚合算法。该算法结合候选框的视觉特征、空间位置和时序位置信息,对视频片段中所有物体候选框构建依赖关系,从而对目标候选框进行特征增强。其避免了像素层次特征聚合方法中需要手工进行特征传播设计的过程,支持端到端的训练;避免了因图像质量退化造成的特征一致性估计不准确的问题,对于图像质量退化的场景具有很好的鲁棒性;可以很好地捕获物体时序上的一致性。最后,在大规模视频数据集Image Net VID上进行验证,相比于单帧Faster R-CNN基准物体检测算法,m AP可以显著地提升近6%,在无需任何时序后处理的情况下,超过当前最优的算法1.4%。2.提出一个基于时序调度的高效视频物体检测算法。该算法结合图像物体检测、目标跟踪算法,将视频物体检测问题建模为时序决策问题,通过设计高效的物体候选框跟踪算法,以及基于卷积神经网络的准确决策器,达到速度和精度之间一个较好的平衡。该算法整个检测过程实时、无延时、支持维护示例ID,满足自动驾驶等高要求的实际应用场景。同样,最后在大规模视频数据集Image Net VID验证其性能。
其他文献
实验是化学学科研究发现和推理论证的基本方法,化学实验在全面培养高中学生的学科核心素养的过程中发挥着重要的作用。高中化学中的实验,需要考虑到如下因素:实验的现象是否明显;实验装置是否合理;实验能否凸显教学重点;实验是否绿色环保;实验在课堂上的时间比例和实验的安全性。从教材设计理念看,化学实验内容具有发展性,2017版高中化学课标明确提出,化学教材是一种动态课程资源,为教师选择、整合教学内容预留了空间
虚拟答疑室是利用虚拟现实技术构建的一个虚拟的三维空间,是真实世界教室的一个模拟,建立于虚拟世界当中,是用于为学生课后答疑提供一个虚拟的场所。每个参与教学活动的人都
随着新浪微博、推特等社交网络服务的快速发展,越来越多的用户在这些社交平台上表达自己的个人知识、感受、意见和评论,导致用户规模的爆发式增长和社交服务机制的创新变革。每天有数以百万计的用户发布数以千万计的微博,与Twitter上的tweets相对应,在各种社交媒体上生成丰富多样的用户内容,如何快速准确地通过微博发现用户感兴趣的内容成为研究人员的一大方向。为此,我们通过对用户之间的社会关系、标签之间的共
场景深度数据的获取是计算机视觉领域的经典问题,数字投影条纹测量技术由于其非接触、高精度、计算快速等显著优点,成为深度估计领域持续的研究和应用热点。传统的数字投影条纹深度获取系统常使用CCD/CMOS相机作为采集设备,但在高动态表面物体、大景深物体的深度数据获取和空间分辨率提升等方面存在局限性。随着光场成像技术的发展,结合光场相机和数字投影条纹成为一种新的深度估计方案,有可能有效解决以上问题。但以光
创新型城市是国家创新体系的重要组成部分,在创新型城市建设过程中,政府发挥着不可忽视的推动作用。对于创新型城市政策绩效的评估,能够判断政府政策的有效性,为制定科学合理
随着物联网相关技术的不断发展,以计算机和通讯设备为主题的信息产业正逐渐吸引着研究人员的关注。与此同时,在集成了多种传感器模块后,智能手机、智能手环、智能手表等智能
中亚造山带东南端的南蒙古-二连地区以广泛发育晚古生代火山岩为特色,前人对该地区火山岩进行了较深入研究,但更多的集中在中国境内,而对中蒙边境特别是蒙古境内的火山岩研究较弱,从而限制了对这些地区晚古生代火山岩,特别二叠纪火山岩的整体认识。本文以南蒙古Hatanbulag地区和内蒙边境二连西额仁淖尔地区的代表性火山岩为研究对象,开展了详细的岩相学、锆石U-Pb年代学、岩石地球化学和锆石Hf同位素研究,探
本文在对其它文献进行研究整理的基础上,分析了新媒体时代高校思想政治教育面临的一系列问题,包括高校思想政治工作面临挑战、高校思想政治教育者地位被弱化、大学生受到不利
随着物联网的快速发展,智能交通系统(Intelligent Traffic System,ITS)以及V2V技术得到了广泛应用,以此为基础提出的机会网络(Opportunistic Networks,ONs)使在稀疏环境下的通信成为可能,使用户之间的通信变得更加便捷。相比于传统TCP/IP网络,ONs对网络环境的要求不高,甚至不需要消息源与目的间建立完整的通信链路,它可以通过节点的位置变化创造相遇
为了适应移动设备的快速发展带来的数据需求的大幅增长,WiFi被应用于许多公共场所中,呈现出超密集,大容量和实时服务的特点。由于AP和用户的超密集性,同信道干扰和AP间负载不