动作识别作为图像处理和计算机视觉等方向的主要技术之一,在人机交互、VR虚拟现实等许多领域也得到了重视和广泛的应用。动作识别在现实应用落地上依旧存在较大的难度,比如获取坐标无法统一、骨骼的动态建模难、不同角色在相同动作上的节奏和幅度不同的影响。目前从时序关联的视频动作中提取骨架关节能为人体动作描述提供很好的表征。其中如何获取骨架关节点,分析关节点在时间上的动态相关性,并得到良好的动作分类的效果成了难题。本文主要针对以上问题提出了一种基于人体骨架主要关键点,通过优化的基于时间滑动长短记忆LSTM网络来完成动作分类任务,最终将以上各部分应用于面向Web3D引擎的交互过程,实现动作识别在幼儿教育领域的应用。论文中主要研究工作包括:(1)针对从摄像头中提取人体骨架的问题,首先通过直方图均衡法来进行视频帧图像处理,以保证获取其流畅性和稳定性帧中的关键点。为了保证实时性能,视频处理的所有操作都在CUDA中实现,以加快速度,然后使用Openpose开源库提取人体骨架信息。(2)针对动作分类问题,选择了一种新的用于动作识别的集成时间滑动LSTM网络,首先我们对输入骨架序列的坐标进行了变换,使数据具有较强的尺度、旋转和平移能力。然后使用运动特征的时间差异,让网络集中在实际的骨架运动,并用多项LSTM对运动特征进行处理保持短期、中期和长期LSTM,最后,多项LSTMs通过集成捕获多种动作动力学并构成网络模型,通过实验证明了模型在自己采集的数据集和其他公开数据集上取得了很好的效果。(3)设计了一套针对在线少儿教育的面向Web3D引擎的深度动作识别系统。以健身教学为应用场景,创新性地将动作识别应用于少儿健身启蒙和教学,利用所研究的人体骨架关键点确定,时间滑动LSTM动作分类技术,与Web3D引擎串联成完整的闭环交互。并最终通过实验证明系统可行性和可靠性。