在21世纪，多目标分类以及异常行为检测在视频监控、图像检索、人机交互以及军事等领域得到广泛的应用。该技术涵盖的内容很广泛，包括目标检测、特征提取、目标识别与行为分析等，但其中关键技术仍然存在大量的问题亟待解决。本文在总结和分析国内外现有研究成果基础上，对多目标分类、异常行为识别等关键问题进行深入的研究，在对主要环节加以改进的基础上进行实验分析，并设计出相应的智能视频监控系统。　　本文的主要工作包括:　　在运动目标检测方面，首先分析常用检测算法的优缺点，然后重点研究了混合高斯(Mixture of Gaussian，MOG)模型。为了解决混合高斯不能处理纹理抖动的问题，提出了一种基于背景减法的改进的MOG模型，然后通过形态学来处理前景区域。　　在多目标分类方面，论文通过实验比较分析几种主流算法在多目标分类中的性能。针对可视化“词袋”模型(Bag of Visual Words，BOVW)特征提取时间复杂度高、视觉字典鲁棒性低以及场景分类率低的问题，论文结合稠密SIFT(Scale-Invariant Feature Transform)、空间金字塔、自适应更新字典以及语言模型(language Model，LM)的优点，提出了一种改进的BOVW多目标分类方法。实验结果表明，该方法能够有效的提高系统的实时性以及分类率。　　在异常行为检测方面，对视频监控领域常见的异常行为进行阐述。由于行为识别的复杂性，本文引入耦合隐马尔可夫模型(Coupled Hidden Markov Models，CHMM)作为训练模型。但是该模型学习能力差并且对大数据库依赖性较强，所以本文提出了一种增量学习(Incremental Learning，IL)的CHMM方式。该方法通过样本的可靠性以及回归学习策略来训练模型，如果出现未识别行为，首先对其进行分类，然后通过划分出的行为训练出新的行为模型，再对该行为模型进行标注，从而形成一个基于增量学习的耦合隐马尔可夫模型(Incremental Learning CoupledHidden Markov Models，ILCHMM)。通过以上分析，在MFC以及Intel集成性能单元(Integrated Performance Primitive，IPP)下实现一个多目标分类与异常行为检测系统。