行为识别技术是视频分析和处理中的一项关键技术,在多领域具有潜在应用价值。早期将视频的单帧图像作为行为识别网络模型的输入数据,得到一个识别结果用以表征视频中的行为。然而对于视频来说一张图像中表达的信息只能代表该行为的一部分,不足以分辨整个行为。当该帧图像中的行为差异不明显,或者不包含特定行为信息,会导致分类效果较差。因此,图像序列随着时间变化的时序特征是影响行为识别结果的关键因素。以解决行为识别中时序建模困难的问题为出发点,深入研究了基于深度学习的行为识别算法,目的在于探索一个通用且有效的行为识别模型。主要研究内容如下:（1）提出了基于多路卷积网络的行为识别算法。时序信息的处理是行为识别的研究重点之一,不同的行为时序长短不一,而现有的算法输入长度固定,忽略了不同长度的时序特征。针对此问题,设计了一种多路卷积网络的行为识别网络框架。网络以不同尺度和模态的数据作为输入,整体分为三条网络分支,分别为短时序分支、长时序分支和光流分支,采用多路分支逐层提取不同尺度、不同模态的行为特征。为了发挥各种特征的优势,在网络的最后融合了不同特征信息,既能增强网络的时间表达能力,又能适应不同尺度的行为变化。在大型行为识别数据集UCF101上进行了验证,结果表明该算法克服了固定序列长度输入对不同长度行为判别力的不足,同时兼顾了多种模态特征的互补性,有效提高了网络的识别性能。（2）提出了结合注意力机制的三维卷积融合的行为识别算法。三维卷积在时序信息建模方面具有优异的性能,但计算开销也较大。将二维卷积与三维卷积结合,拟解决计算开销过大的问题。算法利用二维卷积网络进行图像特征的提取,利用三维卷积网络对特征图像进行时序建模,捕捉视频的时序特征,由此建立视频全局特征。为了区分不同特征对识别任务的贡献,在二维卷积与三维卷积网络结合的基本网络上引入了注意力机制,从特征通道层面为每张特征图赋予不同的权重值,增强运动特征,抑制无用信息。在大型行为识别数据集UCF101上进行了验证,结果表明该算法采用端到端的训练方式,简化了训练过程,并取得了不错的识别效果。为了增加算法的说服力,与先前的研究结果进行了对比,实验表明本算法具有一定的竞争力。