近年来,视频数据因其广阔的应用领域而呈现指数级爆炸式增长,迫切需要利用计算机对视频数据进行自动分析处理。人体行为识别是自动分析处理视频数据的首要任务,也是包括检测分割等许多其他任务的基础。因此,对人体行为识别进行研究具有重要意义。本文将视频序列所包含的时序运动信息划分为长时和短时分别进行建模并将二者融合。针对短时运动信息,设计了短时运动特征提取模块,通过对相邻视频帧利用像素点相关性匹配的方法提取像素级细微动作变化特征,此外引入高斯核增强了模块的鲁棒性;对于长时运动信息,设计了长时运动特征提取模块,跨越相邻帧提取长时序运动特征,此外通过权重分配激发运动特征敏感通道,抑制背景等静态特征通道进而达到对长时序运动信息进行建模的目的。以权衡模型复杂度、识别效率及识别精度为主线进行一系列消融实验分别证明了两个模块的有效性。为了充分发挥两个模块在时序维度上建模的互补性,进一步将二者同时嵌入到现有网络骨架中,通过实验验证了两个模块对不同模型骨架及包含不同数据量的数据集都具有一定的鲁棒性。最终将二者同时嵌入到TSM Res Net-50中构建最终网络模型:长短时运动特征提取网络（Long-term and Short-term Motion Feature Extraction Network,LSME-Net）。在识别效率方面,当只对视频序列通过1次随机采样16帧且每帧都只采取1次中心裁剪进行推理时,LSME-Net推理延迟仅为28.7ms、最大吞吐量达672f/s。在识别精度方面,在Something-SomethingV1及Something-Something-V2两个数据集上Top-1分别达到52.4%及63.6%;在Diving-48数据集上Top-1达到目前单模型中最高的42.1%,证明了LSME-Net在模型复杂度、识别效率及识别精度三方面做出了更好的权衡。