人体行为分析是计算机视觉领域的关键问题，其具备良好的研究价值和广阔的应用前景。人体行为分析常常可以分为人体行为的模式提取、针对行为模式进行分类或者检测两个环节。其中人体行为的模式提取非常重要，行为模式的描述能力直接影响分类或者检测的性能。在现实环境中，由于场景复杂、物体遮挡、摄像机运动或者抖动等因素，如何准确地描述人体行为非常困难。　　 为了解决上述问题，本文的研究从人体行为的描述入手。其引入了两种针对时空上下文进行建模的方式，分别为针对局部特征点之间的时空上下文关系进行建模，和针对全局特征和局部特征相结合的建模方式。通过引入隐藏的时空约束关系，这些建模方式可以对人体行为进行更充分的描述。本文的主要研究内容和核心贡献总结如下:　　 (1)在动作分类领域，本文提出了一种利用时空兴趣点之间的时空关系来进行动作识别的方法。首先我们对提取的时空兴趣点进行过滤，选取最有描述力的n个时空兴趣点;其次利用这些时空兴趣点的时空共生关系构造了具有描述力的局部特征组，并对这样的局部特征组提出了一种新的具有区分性的相似度计算公式，以此对特征组对进行聚类和量化;最后结合传统BoWs模型，利用支持向量机中的多核学习进行动作识别。本文在KTH数据库和YouTube数据上面验证了方法的有效性。　　 (2)在异常行为检测领域，本文提出一种将全局特征和局部特征相结合的人体行为描述方式。本文的局部特征使用光流直方图，并利用相邻K帧的光流直方图构建一种序列特征以更好的描述局部人体行为的动态变化信息;本文的全局特征则使用这些光流直方图的统计值来表征。对于局部特征的相似性度量方面，本文分别引入卡方距离和编辑距离;而对于全局特征则直接使用欧式距离进行相似性度量。基于这种相似性度量，本文针对全局特征和局部特征分别在线地构建词典，以应对场景或者异常行为的变化。接着我们引入了一种多层次马尔科夫随机场模型来对异常行为进行建模。该模型通过势函数将不同层次的特征融合在一起，并通过计算后验概率来判定异常行为是否发生。值得注意的是，该方法可以同时判定全局异常行为和局部异常行为。本文在UMN和subway station数据库上面验证了方法的有效性。　　 (3)开发了一套基于多层马尔科夫随机场，面向视频智能监控的异常行为检测演示系统。该系统界面友好、基于操作，在subway station异常行为数据库上面取得了较好的结果。