随着模式识别和机器视觉技术的飞速发展,准确、快速地识别视频中的人体行为已经成为一个重要的研究方向,在智能监控、人机交互、医疗看护等众多领域都有着普遍的应用远景。人体行为识别的过程相当于以视频序列中人体图像之间的相关性为依据,进行数据分析,并提取变化特征,进而分类识别人体行为的具体类别。人体行为识别过程可以归纳为特征提取和行为分类两个关键环节。实际应用中,视频中由于遮挡、动态背景、移动摄像头视角和光照变化等问题的存在,使得特征提取环节存在着许多客观影响因素。现有的基于传统的人工设计特征提取方法已经无法满足越来越高的特征提取要求,而基于深度学习模型的方法可以从输入视频中学习到数据的高层抽象表达,目前Gate限制玻尔兹曼机(Gate Restricted Boltzmann Machine,GRBM)等模型已成为人体行为识别的热点研究方向。但GRBM模型在进行人体行为识别的实际操作中,忽略了相邻帧局部平稳性的特点,同时模型参数也呈幂指数增长,使模型训练过程的计算复杂度不断提高。基于以上分析,针对特征提取环节深度学习模型现在存在的种种缺陷,提出采用效果较好的卷积神经网络思想对模型进行改进,同时选择目前效果最好的行为分类器进行识别,使改进后的人体行为识别系统在性能方面得到全面提升。论文的主要研究内容如下:首先,深入研究深度学习中GRBM模型以及卷积神经网络(Convolutional Neural Network,CNN)技术,将卷积神经网络的卷积层与GRBM模型结合,通过不同的卷积核提取输入层不同的特征,提高模型具体特征提取能力,进而实现更好的人体行为识别的能力。随后,加入池化操作,对卷积层输出的不同位置上的特征进行聚合统计,降低卷积层输出特征量的维度,从而解决原模型参数过多、容易过拟合等缺陷,进而降低人体行为识别复杂度。最终,完成模型搭建以及公式推导,并对模型进行训练。其次,选择适合人体行为识别的支持向量机作为分类器模型,建立完整的人体行为识别系统,论证其可行性,并在人体行为测试库上进行测试,验证本课题提出的基于C-GRBM模型的人体行为识别系统的有效性和先进性。