随着当今信息技术的高度发展，尤其是计算机视觉领域各种技术的不断创新，以及人们对周围环境的安全意识逐渐增强，现在广泛使用的监控系统已经不能满足人们对智能化的要求。计算机视觉领域研究人员对人体行为研究投来越来越多的关注，从而促进了对人体异常行为检测的研究发展。智能监控系统的处理流程一般遵循如下步骤：采集实时视频图像，建立背景模型提取前景即需要的运动目标区域，如果运动目标区域有噪声以及阴影影响，则对得到的运动目标进行相关去干扰处理，再根据需要选取合适算法进行目标跟踪，然后提取行为特征并提出异常行为检测标准从而对得到的行为进行分析判断，最后得出行为检测结果。本文首先对整个人体行为检测过程中所使用的图像处理技术以及计算机视觉领域相关技术进行介绍，主要包括前景提取技术，以及行为定义与特征提取技术。在本文的整个处理过程中首先进行前景运动目标区域的提取。为了能够满足前景目标提取对准确性，实时性的要求，本文综合考虑高斯背景建模的优缺点提出了充分利用图像颜色空间的RGB颜色通道分离方法进行运动目标的实时检测，并且为了提高对背景模型的更新速度，提出了从像素点层次以及视频帧层次的更新方法。对于前景运动目标区域中的阴影因素的干扰，本文分析其特点提出了在HSV颜色空间依据阴影独特的亮度特点进行前景运动目标区域中的阴影去除，从而得到理想的运动目标前景。本文对两类打架斗殴等暴力异常行为进行检测，针对监控场景中人数较少的异常行为检测本文首先跟踪检测目标获得其相关位置信息，并且基于传统光流场提取更多特征从而提出整体能量异常行为检测方法，整体能量不仅包括行为发生双方的个体能量还包括行为发生双方的交互能量，通过设定场景能量阈值进行行为能量值判定从而检测异常行为。针对监控场景中人数较多的异常行为检测本文提出使用粒子模型来模型群体运动，并且使用社会交互力来评估群体中的作用效果，为了增加检测的准确性，本文对视频序列帧段的社会力进行评估从而达到对异常行为的检测。通过使用不同行为视频进行测试，结果表明本文提出的检测方法能够达到预期的目的。