随着计算机信息技术和人工智能技术的发展,人体行为识别成为最热门的研究方向之一,并广泛应用于人机交互、自动驾驶、智能家居、智能监控以及医疗保健等领域。传统的人体行为识别算法需要人工针对特定任务进行设计,且提取特征的过程比较复杂,导致效率低下、泛化能力差。近年来基于深度学习的三维卷积神经网络算法以端到端的方式提取行为特征、准确率高等优点替代了传统算法。但也存在一些不足之处,首先,三维卷积神经网络参数量、复杂度大,不能充分提取时空特征;其次,当输入的视频信息时间过长时,网络不能充分捕获长时间序列中人体行为特征的相互依赖关系,容易丢失重要的特征信息。基于以上问题,本文主要进行以下研究工作:针对C3D网络参数量、复杂度大,不能充分提取时空特征问题,本文设计了一种基于SR3D网络的人体行为识别算法。该网络将BN层和Re Lu激活函数放置在三维卷积层之前,提高了网络的学习能力;同时将SE模块扩展至三维,并与改进后的三维残差块结合,增加了重要特征通道的权重比例,使得网络能够提取更重要的时空特征。在UCF101数据集上进行了实验分析,结果表明,相较于C3D网络,SR3D网络的参数量和复杂度小,能够充分提取时空特征,提高了人体行为识别的准确率。针对SR3D网络不能充分捕获长时间序列中人体行为特征的相互依赖关系,容易丢失重要的特征信息问题,本文设计了一种VT3D网络。该网络采用多尺度卷积提取长、中、短等时序信息,能够充分捕获长时间序列中人体行为特征的相互依赖关系,避免了重要特征信息的丢失。同时采用时空分离技术实现了网络的轻量化,并探讨了分辨率、采样间隔等参数对网络训练效果的影响。除此之外,本文将VT3D网络和残差连接结合,设计了一种VTR3D网络,加快了网络的训练速度,解决了VT3D网络的模型退化问题,并与现有网络在UCF101数据集上进行了对比分析,结果表明,VTR3D网络不仅减少了参数量和计算量,还提高了网络的实时性和准确率。最后,本文采用迁移学习的方式将VTR3D网络在自制的人体行为数据集上进行了测试,验证了本文所提算法具有较好地泛化能力。同时搭建了人体行为识别系统,并实现了系统的可视化,为后续的研究奠定了基础。