智能视频监控系统中的人体行为识别具有非常重要的现实意义，它被广泛应用于安防监控、智能楼宇、人机交互等领域。其通过智能算法实现让计算机自主完成视频监控场景中的监控任务，从而减轻了监控人员的工作负担并节约了大量的人力、财力资源。本文的主要工作是对智能视频监控系统中的人体动作进行识别，采用时空兴趣点的方法描述人体行为。其主要思路是使用兴趣点检测算法检测视频中的兴趣点，然后在兴趣点周围提取视频块，通过一定的方法对其进行描述，最终形成特征向量表示行为。本文的主要工作如下：(1)通过分析不同行为局部时空特征(梯度特征和光流特征)的数理统计特性，发现行为不同其两种特征的数理统计特性也不同，基于此，本文提出了一类利用局部时空特征的统计特性进行人体行为识别的新方法。首先，分别提取了梯度、光流特征的非对称广义高斯模型(AGGD)参数描述行为；进而，分别在梯度统计特征、光流统计特征及它们的融合统计特征的基础上进行了人体行为识别算法研究；最后，在Weizmann数据库和KTH数据库上进行实验，实验证明三类特征中融合梯度和光流特征的AGGD参数特征能有效提高行为识别准确率。(2)通过分析不同行为的局部时空特征的直方图分布，发现不同行为的局部时空特征直方图存在明显差异，基于此，本文提出了一类加权局部时空特征的人体行为识别方法。首先，将局部时空特征的亮度梯度和光流特征描述子分别分解为三个方向(X、Y、Z)和二个分量(u、v)，通过直接构造视觉词汇表分别得到不同行为两类特征的分向标准视觉词汇分布描述行为；其次，构造两类特征的五方向特征描述子的视觉词汇表，分别得到不同行为五方向标准词汇分布描述行为；进而，利用不同行为测试视频分向词汇分布与各行为标准分向词汇分布的加权相似性度量进行行为识别；最后，实验证明这三类特征都能提高行为的识别率，其中融合特征更能准确的识别行为。