随着视频信息量的激增与机器视觉的快速发展,人们对视频处理领域的技术要求越来越高。视频行为识别作为视频理解方向的一个分支,具有十分重要的研究意义。该文对视频行为识别算法做了详细研究,旨在于通过对视频时空信息的分析,形成更加有效的视频特征,得到更有判别力的视频行为识别系统。首先,设计了基于时空卷积网络的视频行为识别算法,将视频行为识别处理为单独对视频空间与时间信息的获取。在双流卷积网络的基础上,比较分析了光流图像和显著性图像作为网络输入时,对行为识别效果的影响。同时,通过视频时空信息的分析,并借助三维卷积,构建了一个具有双分支结构的时空卷积网络,该网络能够以独立且明确的方式获取视频的时间与空间信息,提高了行为识别效果。其次,研究了基于循环神经网络的特征融合与视频分段的视频行为识别算法,将视频行为识别工作按时序信息处理。在循环神经网络的基础上,首先实现了与卷积神经网络联合的行为识别算法,并对网络类型和采样长度的选取进行比较分析;再者,分别根据相邻特征平均化和三维卷积网络,提出了基于特征融合的识别算法;之后,提出了基于视频分段的视频行为识别算法,并比较分析了融合函数和视频段数对行为识别效果的影响。最后,设计了基于三维卷积稠密网络的视频行为识别算法,将视频行为识别处理为同时获取视频时空信息。基于稠密卷积神经网络的稠密层级连接方式,并借助三维卷积操作,构建了三维卷积稠密网络;同时,通过对三维卷积处理视频序列尺度的研究,设计构建了多尺度时间输入转换层,构建了可以密集且高效获取视频时空信息的多尺度三维卷积稠密网络,提高了视频行为识别效果。