面向视频的人体动作检测与识别算法研究

来源 :东北大学 | 被引量 : 0次 | 上传用户:sondenaclaire3
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
动作检测是依托于动作识别发展起来的一项技术,其目的是实现视频中人体动作的分类识别与时空定位,任务要求面向真实场景,在现实场景中具有较高的应用价值。由于面向视频的动作检测与面向图像的目标检测在任务模式上具有很大相似性,目前大多数时空动作检测算法会参考图像中目标检测的经典方法进行设计。但该类算法在处理视频时往往对多尺度的动作不能很好的检测,或者需要耗费大量的计算资源和时间,并且在进行实时的在线动作检测方面的应用研究较少。本文针对上述问题,主要根据不同的应用场景进行了以下研究:(1)针对面向视频的离线动作检测任务,本文提出了一种基于3D卷积的多阶段人体动作检测算法,该算法参考了 R-CNN算法的流程,并将其应用于视频中的动作检测任务上,提出了一个多尺度动作检测的解决方案,首先,利用Faster RCNN模型进行人体检测;然后,为了得到准确连续的人体序列,本文设计了一种人体序列的生成算法;最后,在动作的识别过程中,不同于C3D模型输入固定大小的视频片段,本文提出了一个基于3D卷积动作识别模型,该模型可以输入不同大小的视频帧,以实现人体动作的多尺度识别检测。(2)为了实现在线的实时人体动作检测,本文提出一种基于双流YOLO的实时人体动作检测模型,该算法依托于典型的双流模型的框架,并创新性地把YOLO模型应用于双流网络中以实现动作检测。首先,通过视频帧训练YOLO v3模型,实现对单帧图像中动作姿态的检测;其次,提出一种基于RGB模型和光流模型的双流融合方案,提升了检测算法的鲁棒性;最后,根据融合后的特征,本文设计了一种在线的动作管道生成算法,实现动作的在线检测功能。通过在UCF数据集上测试,实验结果显示本文设计的两种算法都能很好的完成时空动作检测任务,相比于传统的方法本文提出的方法更具有优势。其中,基于3D卷积的多阶段人体动作检测模型主要应用于离线任务中的人体动作检测,达到了较高的检测精度,而基于双流YOLO的实时人体动作检测模型主要应用于实时在线的动作场景中,本文针对不同的应用场景提供不同的动作检测技术。
其他文献
板带厚度自动控制(AGC)是轧制自动化领域最重要的技术之一,它直接关系到带钢的质量和经济效益,所以深入研究厚度自动控制是非常有必要的。本文以某钢厂2250mm热连轧机厚度自动控制系统为背景,对该厚度控制系统进行深入的消化吸收。研究了厚度计式厚度控制系统(GM-AGC)的绝对方式和锁定方式的区别——厚度目标值来源不同;弹跳量计算不同。GM-AGC通过引入厚度计增益系数修改辊缝补偿值,达到了轧机刚度可
随着科学技术日新月异的发展和人们对物质生活需求的不断提高,人们对于信息物理系统安全问题的研究变得越来越重要。如果一个控制系统遭受到攻击,会使系统的状态估计变得不准确,从而影响人们对其进行可靠的控制,轻则会损害系统的性能,重则会造成灾难性的事故。因此,为了保证信息物理系统在遭受到攻击的情况下有一定的安全性和可靠性,设计有效的观测器估计系统状态的研究就变得十分重要。本文主要在线性信息物理系统与Lips
在工业选矿流程中,矿物颗粒研磨过程是其中的精细阶段。在这个阶段矿物颗粒在外力作用下由大变小。一方面使矿石各个有效成分得到充分且理想的单体解离度,另一方面矿物颗粒的尺寸逐渐减小,满足生产指标的要求,为后续的选别工序创造条件。粒度分布是颗粒研磨过程中关键的指标,它表示各个尺寸范围的颗粒质量占总质量的百分比,通过对颗粒研磨过程粒度分布的模拟能够反映颗粒的破碎情况。动力学模拟是一种随机模拟方法,它不仅能够
随着服务机器人和扫地机器人的普及,对移动机器人的研究成为目前机器人研究方向之一。移动机器人对环境感知,路径规划的研究将机器人带入一个更加智能的时代。双目摄像机作为机器人的感知传感器,具有可操作性强,处理方式更加智能化的特点,尤其是近几年深度学习在计算机视觉领域的广泛使用,使得摄像机作为传感器的机器人平台的应用越来越普遍。因此,本次课题选择基于ARM的室内移动机器人双目视觉避障研究。本文主要研究包括
光纤传感器作为一种新型的传感器件,有着抗电磁干扰、灵敏度高、容易集成化等其他传统传感器无法比拟的优点。其中,光纤耦合器作为一种常见无源光纤器件,不仅可以作为光学元件的连接器件,还可以作为光学传感元件。由于其功能的多样性,得到了不同领域的研究人员的关注和研究,成为应用最广泛的光学器件之一。本文基于光纤耦合器的光学传感特性和光学连接器件的分光合光的特性,将两种特性相结合,提出了一种尾环式光纤耦合器,制
工业生产中的控制系统大多采用设定点值控制方式,即维持控制系统的输出在某一设定点上,然而,考虑到生产环境的复杂多样,很多情况下设定点控制并不能很好地反应控制需求。例如,综合考虑产品的产量质量、能耗物耗以及系统能控性等因素时,系统输出往往只需控制在一个区间内即可;此外,当控制系统的模型参数不精确时,被控变量往往难以被控制在设定点上。区间控制是将期望输出目标以“区间”的形式给出,被控变量可以被控制在区间
由于钾的自然储量丰富以及氧化还原标准氢电位低,使得钾离子二次电池作为当前新兴的电池系统在储能和材料科学领域吸引了研究人员的关注。金属锑因其相对低的合金化电位以及高达660 mAh g-1的理论容量使其成为最有应用前景的储钾负极材料之一。然而,锑电极在钾化过程中较大的体积变化(~400%)致使活性材料粉化,循环稳定性差,从而限制了其在钾离子二次电池中的应用。针对上述问题,本文通过溶盐模板法(NaCl
钢包是钢水从钢厂的精炼工位转运到连铸区域的重要容器,也是钢水二次炉外精炼的精炼炉。钢水具有强腐蚀性,钢包泄漏预测对于生产安全及提高钢包利用率具有重要的意义。目前,钢铁企业对于钢包泄漏预测主要采用离线测试的方法,即根据钢包的抗腐蚀实验确定具有一定冗余量的钢包使用次数,还无法实现钢包的在线防泄漏预测。本文分析了国内外现有的钢包防泄漏方法,研究了钢包内部蚀损程度与外壁温度场之间的关系;结合工业现场的实际
钢铁企业一般都会配置多条生产线,在生产中出现大量的物流交叉现象。如何能够优化调度,使企业生产组织更加有序、生产负荷均衡、物流紧密衔接,从而保证生产柔性、产品质量和交货准时,同时还可以降低生产成本、提高企业经济效益是钢铁企业所面临的重要难题。本文结合国内某钢铁企业合金钢棒材生产流程的实际背景,针对合同计划系统中的制程优化问题进行研究,主要工作如下:(1)针对本文所研究的制程优化问题相关领域进行了研究
分数阶混沌系统是一类复杂的非线性系统。混沌具有对初值的极度敏感性及相轨道的内随机性,它的存在有时会让原系统不能按照预定结果输出,甚至使系统崩溃。但同时混沌所具有的不可预测性、隐蔽性以及复杂的动力学特性也使得其很适用于保密通信等研究领域,并且更能真实地描述实际系统。所以对分数阶混沌系统的分析与控制的研究具有重要的理论意义和实际研究价值。基于滑模控制,本文研究了分数阶Chen混沌系统的抑制以及同步控制