论文部分内容阅读
基于视频的人体行为识别是近年来计算机视觉领域的研究热点之一,广泛应用于人机智能交互、视屏监控、虚拟现实等领域。随着多媒体技术和网络信息的飞速发展,视频数据大量充斥在我们周边,如何在规定的时间内从大量视频数据中检索出有效的、关键的信息是当前一个急需解决的关键问题。关键帧则是反映镜头主要内容的一帧或者若干帧图像,不仅可以简单、概括的描述视频主要视觉内容,也可以为后期的应用提供很好的数据预处理作用。在人体行为识别研究领域中,提取视频关键帧可以有效减少视频索引的数据量,从而提高动作识别的准确性和实时性。为提高视频关键帧的代表性,本文针对人体运动视频、日常监控视频等数据提出关键帧序列优化方法,利用优化后的关键帧序列进行行为识别。改进了传统行为识别方法中对提取的初始关键帧直接进行分类识别的方法,在保证识别率的基础上缩短了识别时间。主要工作包括以下两个方面:(1)利用Kinect深度摄像机获取人体骨架信息,构建包含关节点位置和角度信息的3D人体骨架特征描述子,利用K-均值聚类算法提取人体运动视频序列中的初始关键帧,然后根据关键帧所在序列中的位置进行二次优化以提取最优关键帧,获得优化后的关键帧序列,最后根据最优关键帧利用卷积神经网络分类器对行为视频进行识别。(2)针对日常视频数据,在视频关键帧优化阶段,提出基于颜色特征的视频关键帧提取及优化方法。首先对视频帧图像构建RGB颜色特征,然后依据相邻帧间相似度大小初步选取关键帧序列。最后利用Canny边缘检测算子通过计算边缘匹配率来消除冗余帧,同样达到优化目的。实验结果表明,该方法具有很好的自适应性,同时能够有效避免帧图像因灰度分布差异问题而重复提取关键帧,最终提取的关键帧可以很好的概括及表达原始视频内容。