基于深度学习的时序动作检测

来源 :北京工业大学 | 被引量 : 3次 | 上传用户:deansam
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视频检测是视频处理的主要环节之一,动作识别是视频检测任务的关键,而时序动作检测任务作为动作识别领域的拓展研究是本文的主要研究内容。不同于针对裁剪后的视频进行分类检测的传统动作识别任务,时序动作检测主要面向未经过裁剪的长视频数据,在时间轴上区分动作片段与背景片段,其数据的具体特点为单一视频中随机出现多个多尺度动作段。由于动作是一个连续渐变的过程,所以此任务的主要难点是如何在识别动作类别的基础上,准确定位动作起止点。本文从长视频数据的多标签多尺度特点出发,为了提高长视频中时序动作的识别率,以精确动作时间边界为主要研究目的,在传统视频识别研究的基础上进行算法创新。具体来说,本文在动作类别准确检测的基础上,针对边界检测过程中长动作特征表达有效性不够和动作段边界定位不准确问题,提出三种基于深度学习的时序动作检测方法,以有效提高预测动作段与实际动作段的重叠率。主要研究内容具体如下:(1)提出一种基于长动作拼接机制的时序动作检测算法。在动作类别准确检测的基础上,针对滑窗尺度局限性带来的长动作识别不准现象,通过结合前后文信息的动作构建方案和全新的拼接机制回归模型,来实现动作起止点的定位。并从阶段性处理的思想出发,通过预训练网络进行特征提取,以降低网络计算量,提高时序动作检测效率。(2)提出一种基于逐点映射及全局评估网络的时序动作检测算法。为了提高检测算法对于时间边界的敏感性,利用“逐点处理”的思想,基于一维卷积网络,将特征序列以视频单元的形式逐点进行动作概率映射。而后旨在评估动作段整体置信度,基于“局部到全局”的思想,在逐点映射结果的基础上,训练一个基于长短期记忆网络的全局评估模型,通过输入动作段级采样特征,整体评估该段动作概率,提高动作段的召回率。(3)提出一种基于时间卷积网络的时序动作检测算法。本算法提出一种粗粒度动作段构建方案和基于时间卷积网络的边界回归模型,通过将逐点映射与滑窗扫描相结合,得到两部分粗粒度动作段边界,来减少部分漏检情况;而后本算法引入包含扩张卷积的时间卷积网络,构建保留时序信息的边界回归模型,进一步精确动作边界检测结果。
其他文献
研究背景及目的支气管哮喘(Bronchial asthma,asthma)是一种气道慢性炎症性、过敏性疾病,气道重塑(Airway remodeling)是慢性支气管哮喘重要病理学特征,主要表现为气道基底膜
新中国成立以来,为合理开发利用水资源,我国修建了各种类型水库8.9万座,有效推动了社会经济的发展,因修建水库而不得不迁走的移民为此做出了重大贡献,但因为历史、经济发展等
由于中医药在缓解肺系疾病临床症状方面有其独特的优势,所以在支气管哮喘的防治上中医药也越来越受重视。膏方则是其中常用的方法之一。本论文是观察补肾祛瘀膏方联合舒利迭
背景与目的:调节性T细胞(Treg细胞)具一群具有独特免疫抑制功能的T细胞亚群,通过发挥免疫抑制效应,对免疫细胞起抑制或杀伤作用,在多种免疫性疾病中起重要的作用,成为近年来研究的重
无机纳米材料是一种具有特殊理化性质的新兴材料,其广泛用于化工、生物、医药和军事等领域。由于其强大的功能性,近年来在混凝土方面的应用研究也逐渐被人们加以重视,该材料
当前我国女子高校课程设置存在特色不鲜明、实用性不强和课程交叉融合不够等缺点,女子高校应当根据适应地方经济社会发展、以提高学生综合素质为导向、将女性特色应渗透到课
随着网络技术的不断发展,会计电算化的应用也随之不断普及。与传统的手工会计相比,会计电算化具有成本低、效率高等优点。但是会计电算化本身也具有很多的局限性,其内部控制就是
数字媒体与全媒体是新兴媒介发展的重点方向是当前研究的热点。本文以综艺节目的文化表现为研究对象,着眼于二者的融合与发展,以期对此热点进行深入分析。 Digital media an
利用分子筛择形特点,对煤直接液化油中的混合酚实施高效分离。本研究选取间甲酚和对甲酚作为分离煤直接液化油馏分段混合酚的模型化合物,采用化学液相沉积法对HZSM-5吸附剂的
自2010年实行政务云城市试点工作以来,我国政务云市场发展迅猛。截至2016年,政务云的政府投资规模已占中国云计算基础设施市场的比重的20.7%。在政务云不断壮大的背景下,在党