基于时序特征融合的视频目标检测方法

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:nankaizhizhuan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度学习在静态图像中的研究已取得重大进展,其在视频目标检测领域中的研究才刚刚起步。随着视频数据的便捷获取和计算机算力的提升,视频目标检测作为视频理解的基础任务是计算机视觉领域亟待解决的问题之一。视频数据相对于静态图像具有数据量大,冗余性高,时序之间具有关联性等特点,且数据中存在遮挡、运动模糊、视频失焦和目标奇异姿态等独特挑战。现有方法一般从视频数据冗余性和时序关联性着手,通过冗余性加快视频检测的速度,或者通过时序关联性提高视频目标检测的精度。本文主要利用视频数据的时序相关性,通过时序特征融合提高难分图像的检测质量。同时,通过改进视频目标检测的网络结构,提高检测速度,以期实现速度与精度的平衡。针对上诉思想,本文主要做了以下三个工作:1.提出了一种基于Bi-ConvGRU(双向卷积门控循环神经单元)的视频目标检测方法。本方法将视频序列中各帧划分为当前帧和参考帧,当前帧采用特征提取网络得到对应当前帧特征,参考帧结合光流得到光流估计特征,通过Bi-ConvGRU学习当前帧和当前帧估计特征之间的联系,采用嵌入网络求解权重对Bi-ConvGRU结果进行加权融合。本方法,通过Bi-ConvGRU为当前帧特征引入更多的参考帧信息,提高了当前帧特征质量。2.提出了一种基于空间位置注意力机制的时序特征融合方法。本方法改进了方法1中光流引导特征传播的方向,减少了特征提取网络提特征的过程,但同时引入了估计特征与当前帧特征之间位置未对齐的问题。本方法设计了一个空间位置注意力机制替代了方法1中的嵌入网络,实现了特征空间位置对齐,同时减少了网络的参数量,在精度下降不大的情况下提升了检测速度。3.提出了一种基于非局部多尺度时序特征融合的轻量化网络。本方法舍去了方法1、2中引入的Bi-ConvGRU结构,减少了时间开销,采用非局部模块进行时序特征之间的融合,同时将后端检测网络改为了更加轻量的结构,使网络能在4G显存的机器中运行。为了提高网络对不同尺度的鲁棒性,本方法还尝试引入了浅层、深层特征进行融合,提高了对多尺度图像的鲁棒性。本方法组合以上结构,较好地实现了检测精度与速度之间的平衡。
其他文献
运用部分例证分别阐述了人体脏气的生理病理表现与自然界各个方面(天体、气候、四季、五运六气、时辰、地域饮食等)变化存在着相应关系,说明"脏气法时"中的"时"的范围可延伸
奥运会竞技水平代表世界竞技体育的最高水平,中国男篮以五战全负的战绩惨败里约,这一现状值得我们深思。本文把中国男篮投篮时对手没有形成有效的防守(不管投进与否)作为“成
面对电力系统的强力挑战,压力共轨(Common Pressure Rail,CPR)系统的概念为构建高效、模块化、高可靠性的液压系统指出了一个重要的方向。本论文所研究的液压变压器正是CPR系
<正>主持人的话:首先,非常感谢《美育学刊》本期专门提供版面,给本人主持的国家社会科学基金重大项目《西方美育思想史》发表一组课题组成员的文章,作为本项目部分阶段性成果
随着信息技术产业的飞速发展,通信行业趋向多元化发展,业务模式的演变与业务策略的逐步展开,整个行业的产业链也错综复杂。在这样一个机遇与挑战并存的环境中,通信企业也不得
目的:探讨终末期尿毒症患者行血液透析时发生低血压的原因,提出相应的护理对策。方法通过对我科36例维持性血液透析患者在血液透析中发生380次低血压的资料进行调查分析。结果
<正>放射治疗是一种利用放射线的辐射能治疗疾病,是治疗恶性肿瘤的重要手段之一。放射线在杀伤肿瘤细胞的同时也损伤了正常细胞,随着放射剂量的增加,患者照射野皮肤会引起放
会议
ABB公司为坐落于西班牙圣地亚哥-德孔波斯特拉的-座粉煤火力发电厂的两个350MW机组进行自动化改造,使后者能快速适应国家电力调度中心的指令和需求。
目的:分析冠心病合并糖尿病患者的冠脉病变程度与体重指数(body mass index BMI)有无相关性及其具体关系。方法:应用回顾性研究,收集2014年10月到2017年09月于我科诊断冠心病
目的:探讨布地奈德雾化吸入治疗急性感染性喉炎的临床方法及效果。方法选取我院自2011年8月至2013年8月收治的86例急性感染性喉炎患者随机分为观察组与参考组,各为43例,参考组患