视频行为识别技术利用计算机对视频序列中人体的动作进行分析和识别,是计算机视觉领域的研究热点,在智能监控、智能家居、人体异常行为检测以及人机交互等领域都有着非常重要的研究意义和广阔的应用前景。目前提出的行为识别模型通常仅使用视频的外观信息和短期运动信息,缺乏学习长时间序列间依赖的能力,因此本文进一步研究并改进行为识别方法,使之能够更好地适用于实际生活中。针对视频中人体行为识别问题,本文使用两个独立的卷积神经网络分别提取视频序列的空域信息和时域信息,然后结合长短期记忆神经单元(LSTM)构成长效递归神经网络(LRCN)对视频中的人体行为进行识别。利用LSTM单元引入视频序列间的依赖关系,使LRCN网络能够处理长时间结构的视频序列。通过实验验证了LRCN行为识别模型具有良好的鲁棒性和泛化能力,并探讨了LRCN模型在电力系统中的应用。LRCN行为识别模型处理长时间视频序列时采用密集采样帧序列策略,易产生大量冗余信息增加网络计算成本,且对于跨越长时间的复杂动作不能很好的学习到远程时间结构。本文使用对整个视频进行稀疏采样的时间分割网络(TSN)作为基础模型代替LRCN网络进行远程时间建模,通过结合时间金字塔池化方法构成TSN-TPP网络进行人体行为识别,能够将多个时间尺度的帧级特征聚合成固定长度的视频级特征,增强了视频内的弱时间结构。实验结果表明本文方法能够有效提高行为识别准确率。最后,本文还将基于LRCN网络和TSN-TPP网络的行为识别模型移植到基于GPU加速的嵌入式平台Jetson TK1上,实现了在前端设备上也能够进行人体行为识别,减轻了服务器终端处理大量视频数据的压力。