视频分析技术中视频行为识别是指识别视频所表达的行为,而视频行为空时检测是指检测行为在视频中的空间和时间位置。视频行为识别和行为检测技术在视频监控、医疗监控、运动训练、人机交互、视频搜索等诸多领域有广泛的应用前景和经济价值。由于视频行为空间信息与运动信息的提取机制不一致性、目标多尺度性、背景复杂、目标遮挡、成像分辨率不一致、模糊、目标不规则移动等不利因素影响,视频行为识别与空时检测是一个非常具有挑战性的研究课题。本文关注视频行为识别与检测任务中的空间特征与运动特征的融合问题、视频行为的多尺度性问题、高效的运动信息提取方法设计问题,以及行为检测效率问题。基于上述论文研究关注点,本文对视频行为识别和行为空时检测的关键技术做了一系列的研究,取得的成果如下:（1）传统空间特征与运动特征的融合主要考虑在语义层进行特征融合,这种片面关注语义层上进行融合,而忽视浅层高识别信息的方法效果较差。为了解决这个问题,受循环神经网络前后信息可关联性启发,设计一种基于卷积特征融合信息,实现浅层卷积特征与深层全连接特征有效融合的网络。该方法首先使用卷积神经网络（VGGNet）分别提取帧空间特征和运动特征。然后使用3D卷积对最后一个卷积层的特征进行空时特征融合。最后通过循环神经网络实现空时融合特征的浅层空间特征与深层语义特征的有效融合。通过在三个行为识别通用实验数据集UCF101、UCF11、UCF sports上的实验表明,本文提出的方法优于只在语义信息丰富的全连接层和分类层进行融合的方法。（2）针对视频行为识别行为持续时间多样性和行为空间尺度多样性挑战问题,本文从行为时间和空间多尺度性出发,提出了一种可以获取行为多尺度信息,同时实现各种尺度信息融合的行为识别网络。该方法首先通过多空时尺度三维卷积（TS＿3DCNN）提取局部多尺度运动信息,之后空间信息与对应时间段的多尺度运动信息进行3D卷积融合得出某一时刻的多尺度空时融合信息。之后使用时间金字塔网络（TPN）进一步获取更为丰富的多尺度的空时信息。最后使用双向循环神经网络作用于TPN网络给出的多时间尺度的空时信息,实现各种空时尺度的信息融合,从而获取更为有效的视频行为语义信息。通过在三个行为识别通用实验数据集UCF101、UCF11、UCF sport上的实验表明,本文提出的多尺度性网络具有好的效果。（3）双流结构的缺点是提前计算视频光流信息送入卷积网络来提取运动信息,这增加整体算法的运算复杂性,同时也不符合模型直接映射分类的深度学习概念。为了解决这个缺点,本文提出了一种只输入视频图像数据,就可以同时获取空间信息和运动信息的深度神经网络（MDF,The Multi-Dimensional Motion Features of Spatial Depth Feature Map）。首先使用多个3D卷积核作用于各空间提取网络的的深度特征图,实现基于光流指引（3D卷积核的初始化基于光流理论进行初始化）的运动特征提取。然后使用残差网络实现各层运动特征的前向传输。之后设计一种空间特征权重池化层,实现基于空时融合信息的高识别空间信息关注。最后使用多级LSTM实现语义信息与浅层空间信息特征的融合,以此增强网络全局语义表达能力。通过在三个行为识别通用实验数据集UCF101、UCF11、HMDB51上的实验得出,MDF网络在视频分类的任务中,其正确率可比拟各种需要同时输入帧数据和光流数据的双流法（RGB and optical flow）。即:本文解决了提前计算光流信息的问题,实现了模型基于视频图像数据的直接映射识别。（4）针对行为检测模型需要处理较多候选区域,导致计算复杂度高的问题,本文提出一种在线监督提取类相关信息实现行为检测的方法。该方法基于少量人工提议候选区域进行行为检测。为了解决初始候选区域与真实目标区域交并比较低的问题,使用多步回归分类和空时定位的方法,即:第一步实现粗略检测,基于第一步结果进行区域修正后再进行下一次的空时检测。为了实现精确的时间定位,设计了一种可通过在线监督学习提取类相关信息的循环单元RI-GRU（Related Information＿Gated Recurrent Unit）。通过在行为空时检测通用实验数据集AVA2.2上的实验表明,该方法可比拟现期其他优秀方法。