视频内容分析是人类视觉理解一个重要任务。视频人体行为识别作为视频行为检测、关系推理与内容深度理解的基础研究,一直以来都是计算机视觉领域的研究热点。早期可按照提取特征范围不同分为全局特征和局部特征方法;近年来按照深度学习在视觉领域广泛应用前后可分为手工特征方法和深度学习特征方法。行为识别方法虽发展变化较大,但如何加强视频内时空域特征的学习一直是行为识别研究的重点。本文通过总结分析人体不同部位对行为识别影响,提出了加强全局特征表达的粗粒度行为分类、加强行为人局部区域特征表达的细粒度行为分类的两阶段行为识别框架。相比于之前单阶段的行为识别算法,本文针对性地训练细粒度分类器、提取手部或者腿部局部区域运动特征将容易混淆的行为种类分开;同时训练粗粒度分类器以区分差别较大的行为如射击与引体向上等;对于每个阶段的分类器使用最佳的聚合特征来表征视频行为。最后结合粗粒度和细粒度分类器结果从而达到更加精准的行为识别判断。在上述研究的基础上,本文发现行为识别不仅仅依赖于行为人身体部位特征的不同;视频中行为人交互的场景、特定行为中特定的场景等的空间的判别性区域,例如引体向上的单杠和登楼时的楼梯等,也同样具有重要作用;为此,本文提出挖掘运动能量场景区域与判别性场景区域的上下文信息,提取不同行为之间的判别性空间特征;同时,引入3D深度神经网络,加强时域上特征表示,而不是对多帧进行最大最小池化操作。实验证明,判别性的场景区域信息有助于提高行为识别算法的准确率。