人体行为特征因其所包含的大量行为类别表征信息,在人机交互、智能控制、视频检索以及视频监控等领域的应用至关重要。本文基于卷积神经网络的算法框架,对自然与特定场景下的人体行为识别问题进行研究,研究内容主要包括如下两部分:（1）基于二维卷积神经网络的人体行为识别研究传统的人体行为识别网络提取视频数据特征信息的能力较差,导致无法对行为类别进行有效表征的问题。针对上述问题,本文基于二维卷积神经网络设计了一种轻量级的密集连接型人体行为识别算法。通过构建密集连接型特征提取以及多尺度特征组合预测的结构,以充分提取并融合图像中行为的空间特征,进而获得更为有效的类别表示信息,提高识别精度;另外在网络中使用深度可分离卷积和CRe LU激活函数来代替传统的卷积与激活方式,用于缩减模型参数,提升网络的识别速度;为了增加训练样本的多样性,采用自举法来优化训练网络模型;最后使用多任务监督损失函数进行人体位置边框的回归与行为类别的分类,输出人体行为识别的结果。从实验结果的分析中可以得出,本文设计的深度网络结构对于自然场景和特定场景下的不同目标数、不同视角、多姿态、多尺度人体行为等均具有良好的识别性能,每张图像的识别速率达到36ms,同时在课堂场景下的教师行为测试集上召回率达到93.56%。（2）基于三维卷积神经网络的人体行为识别研究二维卷积及现有的三维卷积识别算法对自然场景与特定场景下存在的小尺度、复杂姿态及类间差距小的人体行为,区分性功能还不是很强,会导致误识的情形。针对以上情况,本文基于三维卷积神经网络提出一种时空密集特征融合型人体行为识别算法。以三维密集连接型卷积网络作为特征提取基础结构,然后在密集块中引入特征非局部密集计算模块,以及在末端全连接层的前面引入时空金字塔池化模块,设计成针对不同时长、不同空间尺寸的三维视频输入数据的时空密集特征融合卷积神经网络,来提升模型对于人体行为时空特征信息的表示能力;同时借助于具有可调目标机制的大边界交叉熵损失函数作为监督函数,进一步改善网络的行为识别准确率。经过多组人体行为识别结果对比实验表明,此算法在课堂场景教师行为数据集上的识别准确率可达到98.52%。