互联网技术的发展导致网络视频数量激增,也带来了对更可靠、高效的视频处理技术的巨大需求。其中,行为识别作为视频处理的核心任务,受到了越来越大的关注。行为识别算法的性能关键在于对视频空间信息和运动信息的建模能力,然而,目前的行为识别模型往往难以对具有显著变化的复杂时序结构进行建模,从而导致模型的运动信息建模能力不足。因此,研究行为识别模型中的运动信息建模方案具有重要意义。基于上述原因,本文提出了一个基于时空语义特征的人体运动行为识别方法,具体研究内容如下:（1）提出基于通道注意力的运动特征增强方法。针对现有双流网络行为识别方法存在时效性差以及空间特征与运动特征交互不足的问题,本方法通过空间特征和运动特征的联合学习避免了光流输入的额外开销,同时本方法通过通道注意力机制和残差连接将得到的运动特征再作用于空间特征,增强其中的运动敏感部分,实现了空间信息和运动信息的特征级交互。（2）提出级联的长时域运动特征集成方法。针对现有3D卷积神经网络行为识别方法存在网络过深难以优化以及大量局部卷积操作远导致远距离帧间相互作用不足的问题,本方法通过层次化的残差网络结构和自适应的帧序重构模块,避免了网络的退化,增加了远距离帧在网络中的交互频率,实现了了大范围的长时序关联建模。（3）完成基于生活场景的行为识别系统。为验证算法实用性,结合实际场景需求,设计并实现了基于生活场景的行为识别系统,实现了生活场景下的视频行为分类。