人体行为识别领域是计算机视觉的研究热点,传统行为识别算法设计复杂且鲁棒性不高,基于深度学习的行为识别算法日益受到研究者们的极大关注。尽管目前基于深度学习的行为识别算法已取得了良好的识别效果,但仍然在背景复杂、三维卷积模型参数量大、长时特征获取不充分等方面存在难以解决的问题。针对这些问题,本文对行为识别算法展开了深入的研究,主要研究工作如下:（1）提出了一种基于帧外观和帧间关系的分离时空卷积残差网络。基于3D卷积的特征提取网络可直接进行端到端训练和测试,但模型参数量较大。为了减少模型的参数量,引入2D卷积到3D卷积残差网路的残差块中,设计了2D卷积与3D卷积串联、并联、串并联的混合残差块,并在UCF101数据集和Mini-Kinetics-200数据集上进行模型对比实验。实验结果表明,含并联混合残差块的残差网络识别效果最好,能够获取更多的时空信息。在并联混合残差块中,2D卷积支路获取视频帧的外观信息,3D卷积支路引入平方池化获取视频帧之间的关系。为了进一步提升识别效果,引入分离时空卷积代替3D卷积,增加非线性因素,提出了基于帧外观和帧间关系的分离时空卷积残差网络模型（Appearance and inter-frame Relations Separable spatio-temporal convolution Residual Network,ARSRNet）,并在两个公开数据集上验证模型改进的有效性。实验结果表明,该ARSRNet模型在UCF101数据集预训练后识别准确率达到90.8%。（2）提出了一种基于时域多尺度与注意力机制的人体行为识别算法。针对视频长时特征提取不充分的问题,引入时域多尺度到残差块中。使用不同时序长度的卷积核获取视频短、中、长信息后融合;同时,引入通道注意力机制到网络残差块的输出,在网络的训练过程中学习每个特征通道的重要性,加强有用的特征,抑制无用特征。在此基础上提出了一种基于时域多尺度与注意力机制的人体行为识别算法（Appearance and inter-frame Relations Separable spatio-temporal convolution Residual Network based on temporal Multi-scale feature and Attention mechanism,ARSRNet-MA）。实验结果表明,在两个公开数据集上,时域多尺度模块和注意力模块能有效提高整体的识别准确率,验证了方法改进的有效性。实验结果表明,所提ARSRNet-MA模型在UCF101数据集上预训练后识别准确率达到91.7%。（3）设计并实现了一种基于ARSRNet-MA的短视频分享分类系统。该系统主要提供短视频的分享、分类、收藏以及个人中心等功能。用户上传视频后,使用本文提出的ARSRNet-MA算法实现系统的视频分类功能,系统的实现验证了本文算法的可行性。