基于深度学习的人体动作识别方法研究

来源 :河北工业大学 | 被引量 : 0次 | 上传用户:hutao95
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于机器视觉的人体动作识别可以从大量的视频数据中识别出人体动作特征,相关研究成果已经给人们生活提供了便利。为了提高视频中人体动作的识别率,本文提出一种改进的深度网络模型对人体动作进行识别和研究,该模型利用稠密光流函数处理数据,采用改进二维卷积神经网络(2DCNN)、三维卷积神经网络(3DCNN)和长短期记忆神经网络(LSTM)三种网络级联模型提取人体动作特征信息,融合特征信息后,利用Softmax分类器识别出动作类别,本文主要研究工作如下:(1)利用稠密光流函数处理视频数据。利用稠密光流函数计算图像上所有的点的偏移量,形成一个稠密光流场,进行像素级别的图像配准。然后利用两套不同的属性参数,提取出flow_x和flow_y两套预处理数据分别进行存储,作为神经网络模型的输入。(2)设计基于改进3DCNN的人体动作识别模型。改进的模型分为两个通道同时训练,第一部分通道数据先输入到2DCNN,对单帧的图片进行特征提取和放大,然后按时间序列堆叠,输入到3DCNN,进一步提取出特征信息。另一通道数据将上述稠密光流函数提取的图像光流数据flow_x和flow_y作为3DCNN的输入提取出特征信息。然后将两部分通道分别提取的特征信息进行融合,将融合后的特征信息作为LSTM的输入进一步提取特征信息,最后利用Softmax进行分类实现人体动作识别。(3)KTH数据集验证。实验平台选用Py Torch框架,选取KTH数据集进行对比实验,包含6类人体动作,600个AVI视频的数据量。在同类模型对比方面,本课题搭建单CNN模型、单3DCNN模型、单LSTM模型及简单组合模型的网络结构在相同数据集下进行实验,对比实验结果表明:本文提出的方法在总体识别率、单情景数据集和单动作数据集识别率上均有所提高,动作识别效果更优。为后续扩展动作类型和识别场景的研究奠定了基础。
其他文献
中华绒螯蟹是我国重要的经济水产物种。短尾类甲壳动物在幼体期完成了一个短尾化的变态发育过程,在长期的系统进化过程中经历了独特的短尾化改变,例如腹肢退化、整个腹部形状
在风电产业的快速发展过程中,风力发电机组的雷击防护已成为目前亟待解决的重大技术问题。在风电场雷击事故中,风机桨叶由于其巨大的高度,成为了主要的雷击附着点,一旦遭受雷击,可能导致叶片爆裂破坏,造成巨大的经济损失。现有的风机叶片防雷系统(接闪器-引下线系统)可在一定程度上抵御雷击损伤,相关研究也主要围绕接闪器系统的优化设计展开。但无法做到对叶片雷击损伤的完全防护。因此,应深入研究雷击电弧作用下叶片爆裂
目的:通过鼻咽癌细胞裸鼠移植瘤观察益气解毒方对鼻咽癌宿主调节性T细胞的影响及对相关诱导分化T细胞传导通路的调控效应,从调节性T细胞诱导分化角度探讨益气解毒方干预鼻咽
2型糖尿病现已成为继心血管病和肿瘤之后,第3位威胁人们健康和生命的非传染性疾病。它给患者及家人造成了身体和精神上的痛苦与折磨,同时其高昂的治疗费用也给患者及家人带去
目的:探讨补肾舒筋汤对腰椎间盘突出症(肝肾亏虚偏阳虚型)患者的临床疗效。方法:将2015年12月至2017年01月收住院的60例腰椎间盘突出症(肝肾亏虚偏阳虚型)患者随机分成试验组
在双材料结构拓扑优化设计中,直观上材料属性在通过材料界面时是不连续变化的,但由于在包含双材料的结构中,材料交界面处总会由于不同材料间的分子相互渗透、融合或者因产生
近年来,面对日益多发的农业灾害,国家农业部提出各省要建设覆盖省、市、县三级的农业灾害应急管理系统,综合利用多种信息化手段,提高农业突发事件的上报速度及处置效率,为农
目的:探讨内皮祖细胞(EPCs)移植和胰高血糖素样肽-1(GLP-1)受体激动剂治疗糖尿病下肢缺血大鼠的有效性和安全性。方法:1.将80只雄性SD大鼠进行糖尿病下肢缺血模型造模,并分为
大型光伏发电站的规模巨大,作为整个发电站的核心组成部分之一,光伏阵列由大量的光伏电池组件通过串并联接组成。在光伏发电系统中,光伏阵列的可靠性影响着整个系统的安全稳
目的:对2018.4-2019.6、2019.10于天津医科大学总医院肿瘤科住院进行的995个周期静脉化疗的化疗相关性恶心呕吐(chemotherapy-induced nausea and vomiting,CINV)发生情况进行回顾性分析,旨在通过病例整理与统计分析,了解肿瘤科临床工作中常见的可能导致CINV的危险因素及含顺铂方案化疗时顺铂的使用天数对CINV的影响,以期为临床工作中这种不良反