随着社会的进步,物质文明和精神文明的不断提高,人们对于安全的重视程度越来越高,因此视频监控系统已经广泛应用于金融、交通、工业等各个领域。由于科技的蓬勃发展和多媒体技术的不断提高,我国的监控系统已逐渐由传统的模拟监视系统向数字监控系统、新兴的网络多媒体监控系统转变,其智能化程度也越来越高。在智能监控系统中,其主要处理流程是采集实时视频图像,从中提取出运动目标区域,对得到的前景图像进行噪声去除和阴影抑制等预处理,再对运动目标进行实时跟踪,最后对运动人体的行为进行理解与描述,并对异常行为予于报警。但传统智能监控系统往往达不到准确性、鲁棒性和实时性等评估要求。为了达到准确性、鲁棒性和实时性等目标,本文在自适应混合高斯背景模型基础上得出了基于时空模型的改进算法,提取出运动目标区域;但由于光照等外部环境的变化,必然产生大量的噪声,为此得出了基于区域高斯模型的噪声处理算法;同时由于阴影的存在,造成了目标形状的改变,因此实现了基于HSV颜色空间的阴影消除算法,但是其处理效果不佳,提出了一种基于HSI颜色空间的阴影消除改进算法,从而得到了理想的运动目标区域。为了识别打架斗殴等异常行为,本文分析了其主要特征信息,针对在监控场景中人数较少的交互异常行为,实现了基于异步隐马尔科夫模型与对称非对称行为层次结构模型的多人异常行为识别算法。而针对在人数较多的场景下的群体异常行为,本文在传统光流特征的基础上得出了基于动态能量模型的群体异常行为识别算法。通过实验表明,本文中阐述的两种异常行为识别算法具有良好的性能和广泛的应用空间。