近年来,由于深度学习技术的快速发展和行为识别算法广阔的应用空间,基于深度学习的行为识别成为了计算视觉领域的研究重点之一。行为识别不同于图像识别,行为识别的关键在于学习视频的时空特征,而图像识别主要专注于图像的空间特征,因此行为识别对识别算法提出更高的要求,不仅需要学习时序特征又需要学习空间特征。而目前基于深度学习的行为识别算法,时空特征的学习上都存在偏向于空间特征的学习,而相对缺少对时序特征的建模能力。目前,双流卷积神经网络存在光流提取速度太慢的问题,而基于3D卷积的行为识别方法存在对视频的空间特征有较大的依赖,容易受背景噪声的影响以及鲁棒性较差的问题。针对这些问题,本文进一步分析双流卷积神经网络和基于3D卷积的方法,并且吸收两种方法的优势,提出一种泛化性更好的多频率时空特征提取方法。具体来说,一方面是利用3D卷积的方法直接从视频中提取时空特征,避开提取密集光流这一耗时流程。另一方面是从多种频率的角度扩展双流卷积神经网络,从而提升时序特征的建模能力,减少对空间特征的依赖。本文的主要有贡献如下:1.结合双流卷积神经网络和3D卷积的优势,提出一种基于多频率的时空特征学习方法。避免了双流卷积神经网络中耗时的光流提取过程,并且缓解了3D卷积对空间信息的依赖。在大规模Moments in Time数据集上,分别在top1准确率和top5准确率上取得1%和2%左右的提升,并且模型计算量比C3D模型小20 GFLOPs左右。2.把多频率时空特征扩展到骨架行为识别,提出一种基于图卷积的多频率时空特征的学习方法,在NTU-RGBD数据集和Kinetics-skeleton数据集上最高能够提升5%左右的识别准确率,并且超越近期的一些基于图卷积的行为识别方法。3.融合两类主流的行为识别方法的各自优势,提出一种从多种采样频率的角度来理解视频的时空信息的方法,并且在视频数据集和骨架数据集上验证了该方法的泛化性和扩展性以及有效性。