基于视频的人体行为识别是计算机视觉领域的一个热门研究方向,在智慧安防、人机交互、视频检索等方面有广阔的应用前景。基于视频的人体行为识别存在时空特征交互困难、视频帧大量冗余、环境噪声多等问题。本文提出一种时空增强长短时记忆算法（STA-LSTM）用于视频行为识别,该网络主要包含注意力、3D卷积、LSTM网络等部分。主要工作如下:（1）针对时空特征交互困难问题,提出基于C3D特征提取网络,利用Sports-1M数据集进行预训练,该网络能够高效提取视频中的时空特征。3D CNN相较于2D CNN最大的特点是加入了时间维度的信息,可以将多个视频帧堆叠作为输入,这种对连续的多个视频帧的卷积操作可以实现同时提取时空特征。（2）针对视频帧大量冗余的问题,提出一种时空注意力模型（STA）,该模型能够捕获视频在时间、空间上的相关性,将注意力集中在视频的关键视频帧以及视频帧的关键区域。在时间上,通过全局最大池化形成一个一维向量,通过对这个一维向量进行操作,计算时间上的注意力权重向量;在空间上,对通道进行全局最大池化和全局平均池化,对池化后的矩阵运算得到空间上的注意力权重矩阵。（3）针对3D卷积处理长期视频时序信息不足的问题,提出利用LSTM网络对3D CNN提取到的特征序列进行二次特征提取。由于3D卷积网络输入的连续的若干帧包含的时间信息比较少,提取到的时间特征也不足以准确实现行为分类。因此,需要融合长短时记忆网络（LSTM）对3D卷积提取到的特征序列做二次特征提取,捕获到长期的时间特征用于行为分类。（4）针对环境噪声的问题,提出利用混合高斯模型做背景建模,能够有效去除背景噪声,得到没有干扰的行人信息。用本文提出的时空增强长短时记忆算法（STA-3D-LSTM）在大型公开数据集UCF-101和HMDB51上进行训练测试,结果表明,提出的算法提高了网络的判别能力,体现了所提出的算法的优越性。