论文部分内容阅读
人体行为识别技术具有非常广泛的应用前景和巨大的社会经济效益，其在视频监控、人机交互、医疗健康看护、虚拟现实等领域具有广泛应用前景。近年来，随着图像获取技术的进步，尤其是微软Kinect图像采集设备的推向市场，深度图像的获取越来越容易，这给解决传统人体行为识别研究中的许多困难问题提供了全新的思路。目前基于深度视频的人体行为识别研究主要集中于深度序列中的特征提取与特征表示工作，虽然已经发表了许多深度视频中人体行为的特征表示方法，但如何提取对行为识别更具帮助的特征仍需要更加深入的研究。 为了获得具有判别性的特征表示，本文提出了基于深度视频LBP算子和稀疏表示的人体行为识别描述符。该描述符首先提取深度视频中基于深度和基于表面法向信息的LBP算子，并通过对其进行立方体方式和时空金字塔方式的组合作为初级特征;然后使用稀疏表示模型训练初级特征字典获取它的稀疏表示;最后将原始深度视频使用自适应的时空金字塔划分为若干个子序列，在每个子序列上使用时空池化方法规格化初级特征与每个字典原子的加权差异，得到深度视频中人体行为的高级特征表示。 为了降低深度视频中人体行为识别研究的数据计算量，加快人体行为识别方法的识别速度，本文提出了改进DMM图的快速人体行为识别方法。DMM图代表着深度视频中运动能量的累计信息，本文对原始的DMM图进行了改进:在DMM图中引入了时间金字塔概念，将原始深度序列转换为了P-DMM图。一个动作对应的多个姿态由多幅P-DMM图表示，在保留了类别信息的同时最大程度降低了数据计算量。为加快实验速度，本文在P-DMM图上提取了简易快速的HOG特征和LBP特征并通过特征融合作为深度视频中人体行为的特征表示。 最后，在公开的动作识别数据库MSR Action3D和动态手势识别数据库MSRGesture3D上的实验证明了本文提出的两种特征表示的有效性和优越性，本文提出的两种深度视频中的特征表示方法具有积极意义。