随着电子科学与信息技术的飞速发展,视频中的人体行为识别逐渐成为工业界和学术界内的比较热门的研究方向之一。人体行为识别在智能视频监控、智能医疗、安防监控、智能家居、人体智能交互等现实生活中有着广泛地应用前景和现实价值。然而由于视频中错杂纷乱的人体行为背景、人体行为的某个动作突然被遮盖和某个摄像机的视点变化等因素的影响,如何高效准确提取人体行为特征仍然是一个的巨大的挑战。针对这些问题,本课题将深度学习与目标识别两项技术作为基础,以视频中人体动作的识别为目的,来完成人体行为识别算法的研究。并在UCF101数据集上进行训练和测试,实现了基于深度学习的视频中人体行为动作的识别。本文对C3D网络结构进行改进,提出了一种基于RC3D卷积神经网络的行为识别算法,同时提取时空特征,并将三维残差网络结构嵌入到三维卷积神经网络中,在加深网络宽度的同时提高了网络的性能,避免了梯度消失问题。为了使RC3D网络学习更鲁棒的特征,有效地防止过拟合,在全连接层中引入Dropout方法。该算法在UCF101数据集上进行训练和测试,实验结果表明,基于RC3D卷积神经网络的人体行为识别的平均准确率为54.5%,比C3D卷积神经网络提高14.33%。RC3D卷积神经网络仍存在提取时间信息单一、模型泛化能力不足以及识别率比较低等问题。因此,本文在RC3D网络的三维残差网络结构中增加BN层,构成BRC3D卷积神经网络,优化了网络结构,保证每层输入数据的分布稳定性。进一步结合双流思想,构建了基于双流BRC3D卷积神经网络的行为识别算法,并采用一种加权融合策略,实现空间特征和时间特征的融合。该算法在UCF101数据集上进行训练和测试,实验结果表明,基于双流BRC3D卷积神经网络的人体行为识别的平均准确率为91.34%,该算法有效地加速了模型的训练速度,同时也提高了模型的泛化能力和识别能力。