基于深度学习的视频人体行为识别研究

来源 :燕山大学 | 被引量 : 0次 | 上传用户:newio
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在计算机视觉领域,视频人体行为识别一直是个热门的研究方向。视频人体行为识别不同于静态图像的人体行为识别,输入网络的不是单帧图像而是连续多帧序列,图像绪论蕴含了更多的时序信息,是未来行为识别的主流研究方向。传统的人体行为识别方法由于其耗时长,特征提取复杂等原因,难以在实际应用中有重大突破。随着计算机软硬件的高速发展,2006年提出来的深度学习理论得以实践,视频人体行为识别再次被重视起来。如今,视频人体行为识别在视频监控,智能家居,体感互动等领域都有着广泛的运用,发挥着重要的作用。本文从深度学习理论出发,结合最新的研究成果,对以下两点进行实验研究。在3D网络的基础上增加密集和残差结构,提出密集残差网络(R-Densenet)。相比于2D卷积核,3D卷积核增加了一个深度维度来提取时序信息,可以有效的提取到动作的时序信息,对一些相似动作有良好的识别能力。3D网络复杂的网络结构导致计算量大,运行速度慢,网络难以抵达很深的深度,无法发挥深度学习的优势,因此在3D网络的基础上提出密集残差结构,通过密集残差的网络结构来解决梯度消失,网络退化等问题,同时跳跃的链接可以有效减少网络的参数,让网络更加轻便,有利于到达更深的深度。实验证明改进后的3D卷积网络可以有效地提取时序信息,并通过密集网络,残差网络的结构进一步加快运行速度。研究基于图卷积网络的视频人体行为识别。不同于RGB图像,图(graph)的形状并不是固定的,在人体行为识别中,图是用人体骨骼拓扑图构建的。在之前的图卷积方法中,骨骼节点的划分策略较为简单,注重于节点在骨架中整体的位置而忽视了具体部分在行为识别中的重要性。本文提出新的骨骼节点划分策略,将不同区域的节点分别处理,并在数据集上进行实验证明网络的效果。实验结果表明网络可以有效地提取骨骼节点图像的局部特征,避免相似动作之间的干扰,并提升了模型的精度。
其他文献
图像阴影去除是图像预处理中必不可少的一步,可以提高计算机视觉和图形任务的性能,但阴影去除效果往往受到场景、光照条件、物体表面反射率的多样性等因素影响,因此如何克服特征提取时面临的诸多困难,实现鲁棒图像阴影去除仍然值得深入研究。该文在生成对抗网络算法基础上,融合敏感参数、谱归一化、自注意力机制等多种结构,从特征提取、模型优化和准确度提升等几方面,提出以下三种改进算法:首先,针对堆叠条件生成对抗网络在
视频合成孔径雷达(Video Synthetic Aperture Radar,VideoSAR)是一种新型的合成孔径雷达(Synthetic Aperture Radar,SAR)成像模式,不仅具有传统SAR的全天时、全天候优势,还具有高成像帧率、高分辨率的特性。它可以对监测场景进行连续成像,获得与视频相似的成像效果,为现代军事作战中目标检测和跟踪提供了帮助。由于对视频SAR目标检测的研究处于起
人体动作识别依靠获取运动、环境、生理电信号等特有的相关信息,通过解析动作的属性判断人体行为。基于微机电系统(Micro-Electro-Mechanical System,MEMS)传感器的人体动作识别现可应用于智能看护、医疗康复及运动健身等多个领域,本文从理论研究(深度学习)和工程设计(MEMS状态机)两方面研究人体动作识别。本文搭建以下硬件环境,首先设计基于Android系统的智能手机APP用
目前,随者科技的发展,人工智能与无人驾驶已成为当今世界关注的焦点。尤其是无人驾驶,融合了人工智能,机器视觉,规划决策等功能的综合体系。本文主要针对智能体的路径规划与编队控制进行研究,主要内容如下:首先,对本课题的研究背景和意义进行了介绍,分析了多智能体路径规划与编队控制的研究现状。列举了经典规划算法的优势与不足以及常见的改进方案,针对智能体编队,主要介绍了常用的体系结构与编队控制原理。其次,针对基
近年来,电磁轨道发射装置因其初速高、可控性好、安全性强等优点,在军事和科学研究领域显示出巨大的应用潜力。随着电磁发射技术的发展和对发射装置精准打击要求的逐步提高,对电枢内弹道速度的准确测量和调控显得尤为重要。本文对电磁发射系统和磁探针进行建模,分析了基于磁探针的电枢速度测量精度,提出了提高磁探针测量精度的方法。设计了多阶段电枢速度闭环控制方法来提高电枢初速精度,通过对比开环和多阶段闭环试验的电枢初
在实际工程、科学研究中经常需要同时优化多个目标,并且这些目标往往是互相矛盾的。为了解决这类问题,传统基于分解的多目标进化算法已表现出较强的性能,但在解决超多目标优化问题时仍然存在缺陷。针对上述问题,本文在传统基于分解的多目标进化算法基础上进行深入研究,提出了解决不同类型问题的基于自适应分解的超多目标进化算法。主要研究内容如下:(1)针对传统基于PBI分解算法造成的种群收敛性与多样性难以平衡的问题,
欠驱动自主水下航行器(Autonomous underwater vehicle,AUV)由于具有更高的机动性和系统可靠性,在实现海洋科学调查、水下勘探和海洋目标探查等方面中起到了重要作用。然而实现AUV控制系统稳定的航迹跟踪是确保其在水下能够平稳可靠工作的关键。本文将针对欠驱动AUV系统存在洋流、输入受限、模型不确定性等问题设计航迹跟踪控制器。首先,建立欠驱动AUV运动控制系统数学模型。根据实际
进入21世纪之后,各国日益重视海洋的开发利用,大力发展海洋科技,水声传感器网络(Underwater Acoustic Sensor Networks,UASNs)借助水声信号传输数据,在特定区域部署大量传感器节点收集数据,成为观测海洋、获取水下信息的关键技术。如何有效收集UASNs中的数据也成为海洋研究的关键问题。水下滑翔机(Glider)作为一种新型的AUV,具有噪声低、能耗小等特点,逐渐成为
连铸是钢铁冶金生产过程中的重要环节,为提高钢铁生产效率与产品质量,实际生产中常采用多流连铸的生产方式,并且要求每一连铸流中的结晶器按照给定位移波形振动,结晶器能够准确跟踪给定振动位移波形是保证铸坯质量的关键。多流连铸对系统的安全性和可靠性有较高的要求,并且结晶器振动位移系统中的不确定性干扰等因素会影响振动位移的跟踪效果。为提高多流连铸生产过程中系统整体的安全性与可靠性,以及保证每一连铸流中结晶器振
本文通过兔胚胎毒性实验和玻璃化冷冻的研究,确定对胚胎无毒性或毒性小的冷冻保护剂的种类、最佳浓度、胚胎发育阶段,为玻璃化冷冻方法在兔胚胎冷冻保存中的应用提供理论基础。 1.用海藻糖和蔗糖处理的兔早期囊胚存活率分别为93.8%和70.0%。经统计分析,兔早期囊胚存活率海藻糖组显著高于蔗糖组(P<0.05)。 2.0.5M海藻糖溶液做基础液,分别用OM(对照组)、2.0M、2.5M、3.0M