论文部分内容阅读
针对人体动作识别问题,现有的方法多是基于人的肢体或手部、手肘等部位,在针对手指动作等微动作的识别问题上,常见的动态识别方法得到的识别效果并不理想,常常出现识别不准确或无法捕捉手指的运动状态等问题。微动作的运动信息更多的表现在手指的运动状态中,利用微动作手势的运动状态及其运动周期长度来确定一次完整的动作,为此类重复性微动作视频的关键帧提取和特征处理提供了一个新的方向。关键帧序列是表达视频内容的一种重要形式,近年来,常见的关键帧提取算法在解决目标对象动作幅度较小、内容重复、单镜头且场景不变的视频时出现关键帧提取不完整、提取的有效信息不充分以及提取的帧图像冗余等问题。感知哈希算法是图像搜索领域的一种常见方法,但是为本文的微动作关键帧提取问题提供了一种新的解决思路。在微动作视频中,目标对象运动的时空特征包含了其动作的全部信息,有效提取视频中的时空特征能够使得网络训练更加充分有效。卷积神经网络常用于提取图像的空间特征,但是在面对视频序列的特征提取时,往往无法对时间序列的特征进行有效处理,而长短时记忆网络的出现为视频序列的时间特征提取提供了新的解决思路。为此,本文提出了一种基于微动作手势的关键帧提取算法,能够提高微动作手势的关键帧序列提取的准确性,构建了基于感知哈希算法和汉明距离的关键帧提取算法,给出了起始帧和终止帧判断依据的计算方法;结合神经网络针对微动作手势的识别方法,构建了一种混合网络的模型。将所提算法使用公开数据集进行实验,实验结果验证了算法的有效性和优势。并使用关键帧提取算法和混合网络模型处理本地针刺手法数据集,验证了该算法和模型在针刺手法识别的可行性,为针刺手法的计算机建模和科学性教学奠定了研究基础。本文为微动作手势识别提出了一种有效的方法,也为视频关键帧提取提供了新的算法,结合深度学习的内容,为针刺手法的识别问题建立了计算机模型,该模型为针刺手法的科学性研究和量化教学提供了新的方向。