基于视频的人体行为识别一直是计算机视觉领域的热门研究方向,在智能视频监控、安全驾驶、人机交互和视频检索等领域有着重要的应用价值。随着深度学习技术的发展成熟,人体行为识别取得了突破性进展,但由于人体行为复杂性和背景噪音等问题,如何高效准确地提取人体行为特征,设计一种高精度、泛化能力强的人体行为识别算法仍是巨大的挑战。针对这些问题,本文的主要研究工作如下:提出一种基于二维注意力卷积神经网络的人体行为识别算法。为了减少背景噪音干扰,准确提取关键区域的特征信息,本文提出一种基于像素级别的注意力机制,驱动网络自主学习特征权重,有效地提高了算法性能。提出一种基于三维残差卷积神经网络的人体行为识别算法。为了充分利用视频的空间和时间信息,本文设计一种三维卷积神经网络,同时提取时空特征,并嵌入三维残差结构,加深网络宽度的同时提高性能,为减少模型参数量,使用全局平均池化代替全连接层。该算法在准确率和速度上具有良好的效果。提出一种基于多流卷积神经网络的人体行为识别算法。为了增强模型的泛化性能,本文提出使用多模态数据输入,包括RGB图、光流图和梯度图,并使用二维和三维多种网络结构,最后提出两种网络加权融合策略,该算法在UCF101数据集和HMDB51数据集上的准确率分别为95.1%和71.6%。提出基于滑动窗口的驾驶员异常行为监控预警机制,通过累计异常值和与异常阈值判断是否触发预警,进一步设计并完成原型系统,通过自主采集的驾驶员行为数据集完成应用层面的算法验证。