基于深度学习的人体骨架运动序列行为识别

来源 :广东工业大学 | 被引量 : 1次 | 上传用户:fanqiefanqie
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人体行为识别是计算机视觉和人工智能等领域的重点研究方向。其研究成果广泛应用于智能监控、人机交互、运动分析、虚拟现实等领域,具有重要的学术研究意义与巨大的市场应用潜力。针对日常生活视频下的人体动作识别任务,为了保留动作在真实场景下的时间和空间维度上的更多特征,通过基于视频中人体行为时空运动特征,设计了融合以人体骨架、RGB图和光流作为输入,具有时序性的行为识别神经网络框架TS-IC3D-LSTM。在自建数据库上验证了文中算法的有效性,并在UCF101数据集上验证了文中算法相对于其它相关算法的优越性。主要研究内容如下:(1)为了降低外界光照、遮挡等因素对特征提取的影响。首先,通过特征提取模块提取目标视频序列中的人体骨架特征,得到人体骨架运动序列。对骨架关节点坐标归一化以消除人体的绝对空间位置对识别过程的影响。然后通过简单的平滑滤波器对骨架关节点进行滤波,以提高信噪比。最后对人骨架进行特征表征,以表征矩阵的形式输出。(2)为了解决单一特征在描述视频中人体行为时存在特征表征不足的问题。通过融合RGB图和人体骨架运动序列共同表征空间信息,加入光流表征时间信息。为了解决视频数据中的计算冗余问题,还提出了对视频数据进行图像帧序列化并提取关键帧。在保证图像帧之间关联性的同时,尽可能减少冗余计算。(3)为了解决大的输入数据流下算法运算速度慢。文中先通过基于3D CNN进行卷积核扩充和结构上深度的改进而构建了IC3D神经网络。使用权值共享策略来降低神经网络中的参数膨胀问题。并通过连续卷积和下采样,减少下一步工作参数庞大的问题,以提高整个算法的计算效率。同时,加入LSTM构成TS-IC3D-LSTM神经网络中的子网络模块。从结构上解决因输入流过大而可能产生的梯度爆炸和梯度消亡问题。然后加入了BN和Dropout等优化网络结构,以防止模型训练中的过拟合。最后在自建行为数据库上验证了文中算法的有效性。(4)基于Two-stream和LCRN,设计了用于视频中人体行为识别任务的TS-IC3DLSTM神经网络。使用光流输入来表征样本间的时间维度,使用人体骨架运动序列和RGB图来表征空间维度。通过预训练后权值迁移加微调再训练的方式进行网络模型训练。并在人体行为视频库UCF101上与相关算法进行比较,验证了文中算法的鲁棒性及优越性。
其他文献
企业课堂的构建和运行是现代学徒制发展中的关键环节之一,也是当前探索和研究的难点。以教育部第二批工程造价专业(BIM方向)现代学徒制试点项目为例,在明晰现代学徒制企业课
高校是一个有组织的松散系统,高校学生中存在非正式组织。非正式组织影响学校管理者的绩效,且在结构、组织成员、组织领导、组织规范、沟通以及凝聚力等方面都与正式组织有很
在家庭教育中,儿童是受教育的对象和教育方式的接受者.关于儿童对家庭教育方式评价大多限于北美国家和欧洲社会.中国文化中的儿童青少年是如何评价其家庭纪律教育方式的,是本
通过对我国师范大学教育学院教师的科研状况进行数据调查,研究发现:从整体上看,教育学院教师科研取得了一定成效,但同时在环境创设、教师科研意识、科研参与、科研定位、科研
地区发展差距过大对中国货币流通速度有显著的影响,导致了中国货币流通速度下降。金融发展指数与通货膨胀率对货币流通速度具有正向的效应。因此,要充分关注国内不断扩大的地
电子车牌制卡子系统是"青岛海关海运物流监控平台"的一个子系统。所谓电子车牌,就是基于射频识别技术(Radio Frequency Identification,以下简称RFID)开发的一种车辆身份自动
随着全球经济快速发展和生活水平不断提高,世界各国对于能源的需求也随之提升,导致对各类不可再生资源耗费巨大,环境和能源压力突显。楼宇建筑作为人们在现代化城市生活中的
利用演化博弈模型及系统仿真方法,分析了商业银行在将小额贷款公司作为金融中介发放批发贷款的过程中,利率水平、担保比率、贷款总额、放贷成本等因素对二者间合作的实际影响
中国经济增长的GDP总体指标与分项指标之间的差异,蕴含着一个需要进行指标调整的逻辑结果,同时也表明中国宏观经济运行中存在着需要进一步探讨的问题。研判中国当前经济金融
英雄是人类永恒的话题,而电影英雄形象的塑造始终是中国主流电影发展进程当中不可忽视的重要一环。本文正是一篇以我国新主流电影中的特战英雄形象作为研究对象的论文。鉴于中国特有的国情与文化,我国的文艺创作与主流意识的弘扬总是相辅相成的,国家对主流意识形态的把控和引导也始终影响着电影的发展进程。纵观中国电影发展史,笔者从建国以来中国主流电影英雄形象塑造的流变入手,运用类型学等相关理论知识,对我国几个重要历史