论文部分内容阅读
基于视频的人体行为识别是计算机视觉技术的一个热门研究领域,在智能监控、行为分析、视频检索和人机交互等领域具有较为广泛的应用前景。目前行为识别的应用仅限于手势识别和一些简单的肢体识别,真正大规模成熟应用依旧任重道远。本文主要从传统机器学习和深度学习两大方面对人体行为识别进行研究,主要内容如下:1.密集轨迹算法框架下的新型特征描述子组合。密集轨迹能够有效捕获复杂的运动信息,密集轨迹算法在行为识别领域取得了较好的识别效果。我们在密集轨迹算法框架下引进三维梯度直方图(3-Dimension Histogram of Oriented Gradient,3DHOG),这是梯度直方图(Histogram of Oriented Gradient,HOG)特征在时空立方体上的三维扩展,并与光流直方图(Histograms of Optical Flow,HOF)特征以及运动边界直方图(Motion Boundary Histogram,MBH)特征融合,在融合特征作用下的识别结果相比于原本HOG+HOF+MBH组合方式,识别率得到一定的提升。2.基于Fisher正则约束项的低秩稀疏编码方式。低秩稀疏编码是一种有效字典编码方式,其编码具有稀疏性、局部一致性和空间连续性,我们在其基础上引入Fisher正则约束,使得编码保持原来优点的同时,通过“减少类内散度,提高类间散度”,进一步增强编码向量的判别能力。3.为克服深度网络模型在轻量人体行为数据集上识别率不佳的问题,引入三维卷积深度特征和人工特征融合的行为描述子。三维卷积网络的深度特征能够与人工的3DHOG+HOF+MBH特征组合形成有力互补,进一步提高描述子对人体行为的语义描述能力。4.三维卷积神经网络和双流卷积神经网络的融合。三维卷积神经网络和双流卷积神经网络是行为识别领域两个经典的深度学习模型,两者的融合能够在一定程度上增强特征的时空特性,提升模型对样本的判别能力。