视频监控就是指在不需要人为干预的情况下,利用计算机视觉和视频分析的方法对摄像机拍录的图像序列进行自动分析,并判断它们的行为,从而做到在完成日常管理外还能对发生的异常状况做出反应。本课题致力于开发适合进行实时监控的行为识别系统。该系统以运动目标的检测和跟踪模块为基础,对监控中运动目标产生的行为进行定义和识别,当有周边入侵,展览区域抗违规等违规行为发生时,自动的进行行为识别和实时报警,并且抓取事件发生时的图像,定位违规目标,能够使监控人员迅速的做出反应。此外,为了进一步获得更普适的人体检测算法和进行行为分析,研究了图像人体检测和三维人体姿态估计两个方向,以下是本文所做的工作:(1)研究并比较了多种背景建模方法,针对视频监控系统中很多应用于动态场景这一特点,采用了包括混合高斯方法以及多信息融合背景建模方法,在此基础上提出了一个前景检测的普遍框架。该框架能自动进行噪声去除,进行前景检测。(2)对于目标跟踪来说,一个主要的难点就是跟踪过程中运动目标之间的临时遮挡问题。为此,我们制定了一种跟踪策略,将跟踪过程分为7种不同的事件来处理。跟踪过程中目标经常合并和分离,对目标匹配提出了较高的要求,我们采用基于颜色直方图相似度的特征匹配方法来对连续图像中的目标进行匹配。为了进行行为分析,我们给出了多种行为定义并通过实验证明了有效性。(3)进一步,我们研究了基于真实单目图像下的人体三维姿态估计。传统上,三维姿态估计往往首先需要进行背景剪除以获得合适的特征来进行下一步处理。本文中,我们不再遵循这一思路,提出了一个两步走方法。首先,我们应用基于ISM(Implicit Shape Model)的人体检测器来获得人体位置和大小,相比其他检测方法,这种检测方法能够同时得到人体的分割图像。之后,通过设定一定的转换规则,分割图像转换为我们需要的侧影特征,这样人体姿态估计问题就可以作为一个从侧影特征到姿态的回归问题来处理,我们采用了岭回归和相关向量机方法来进行比较。实验结果显示了我们这个算法的鲁棒性和准确性。