行为识别是计算机视觉中的核心问题,在人群分析、人机交互、虚拟现实等应用中都存在该技术的身影。而时空建模是视频行为识别的一个重要部分,有效地进行时空建模可以极大地提高行为识别的精度。本文针对视频时空建模开展研究,利用卷积神经网络设计新的网络结构以捕捉有效的时空特征,分别提出了基于协同时空建模和自适应时间迁移模块的视频行为识别算法,主要研究内容如下:（1）阐述了视频行为识别的相关背景及意义,总结了视频行为识别国内外研究现状并概括目前算法存在的局限性。同时分析了视频行为识别任务的难点,介绍了视频行为识别的基本框架结构和本课题使用的两种与时序相关的数据集。（2）设计了一种卷积网络模块,结合三维卷积和时间迁移模块用以学习互补的时空特征,使来自三维卷积和时间迁移模块的特征相互补充,相互利用,实现高效的行为识别模型。并将该卷积模块插入到骨干网络BN-Inception和Inception v3中,通过对比实验验证该模块的有效性。（3）提出嵌入注意力机制的协同时空特征学习模块用以融合来自三维卷积和时间迁移模块的特征信息,克服了采用简单相加融合无法充分利用时空特征的弱点,有效地使用多个维度的信息,提高了视频行为识别任务的准确度。该模块可以增强重要特征,减弱无关特征,从而自动地学习一种特征选择机制。实验结果表明,基于协同时空建模的算法在两种数据集上都取得了显著的效果。（4）设计了一种自适应时间迁移模块,该模块在每一层网络中均使用不同的通道迁移率,即根据上下文内容自适应地位移不同的特征通道。该模块在建模时空特征信息的同时,能够有效地编码动作实例的速度特征,提高了复杂场景下视频行为识别的精度和鲁棒性。实验验证了该模块的有效性,并且在两种数据集上都取得了竞争性的性能。