人体行为识别一直是计算机视觉以及人工智能领域内的研究热点,在视频监控、人机交互和运动分析等诸多领域有着重要的应用价值。人体行为识别是基于视频的复杂过程,它既包含单帧的空间信息又需考虑行为的动态特征。因此,人体行为的特征提取和分类是一项具有挑战性的研究。本文主要研究了基于深度学习的人体行为识别算法,实现了对行为特征的自动提取和动作的准确识别。首先,针对传统卷积神经网络(Convolutional Neural Network,CNN)无法提取视频中的人体行为时序动态特征的问题,本文研究了时空卷积神经网络的构建方法,提出灰度单通道时空卷积神经网络(Gray Single Channel CNN,Gray-CNN)和RGB三通道时空卷积神经网络(RGB Three Channel CNN,3Channel-CNN),保证在网络不依赖于底层特征的情况下能够自动提取出视频中人体行为的空间表观和时间动态特征。实验结果表明,在Weizmann数据集上,Gray-CNN的人体行为识别准确率高于基于手工特征提取的识别方法。其次,为了解决CNN特征提取能力有限、泛化能力差的问题,本文进一步提出了符合人体行为理解的四元数时空卷积神经网络(Quaternion Spatial-Temporal Convolutional Neural Network,QST-CNN),将CNN的空间卷积层扩展为四元数空间卷积层,使彩色图像的R、G、B三个分量作为一个整体进行人体行为空间域上表观特征的提取,并在时间卷积层提取相邻帧的动态信息。实验结果证明,QST-CNN提高了深度学习网络的特征提取能力和行为识别准确率。另外,人体行为是基于视频的连续过程,相似动作的视频中存在混淆的视频片段,而卷积神经网络每次输入的视频片段是相互独立的,无法获取片段间的联系。因此,本文结合QST-CNN和长短时记忆网络(Long Short-Term Memory Network,LSTM)学习视频片段间的长期依赖关系,利用门限从视频信息中删除无用信息,添加关联信息,从而很好的判别相似片段的行为分类。实验结果证明,本文提出的方法很好的解决了相似动作的混淆情况,提高了行为识别准确率。最后,由于行为数据集的样本数有限,会导致深度学习网络陷入过拟合现象。本文在全连接层引进Dropout方法,使网络连接结构稀疏化,迫使网络学习更鲁棒的特征,避免网络对某一局部特征的过拟合。通过实验分析确定最优的Dropout系数,完成人体行为识别任务。