视频图像序列中的人脸检测(FaceDetection)与跟踪(FaceTracking)是机器视觉领域的研究热点与难点，也是数字监控系统的核心技术，具有重要的学术价值和广阔的应用前景。 在人脸检测方面，本文首先分析了各种不同的人脸检测办法的优缺点，选取了能兼顾实时性和准确性的Adaboost算法进行了设计和实现。在分析实验结果的基础上，发现了Adaboost算法的Haar弱分类器无法描述其特征内部的灰度分布，从而导致不合理的虚报这一固有缺陷，提出了一种新型的嵌套型弱分类器替代原来的Haar弱分类器，有效的减少了这类虚报的产生。此外，本文还针对Adaboost训练时间过长这一缺陷，分析了训练算法中的验证步骤的冗余，提出了一种直接求解目标函数的阈值调整算法和一种验证集更新策略，缩短了训练时间。 在人脸跟踪方面，本文先后提出了两种跟踪方法，分别针对单人脸目标的跟踪和多人脸目标的跟踪。 首先提出了一种基于状态转移的单人脸快速跟踪系统。在分析了各种跟踪预测方法的优缺点后，结合考虑Adaboost人脸检测器的检测结果的特点，设计了一种线性运动模型来快速准确地捕获、预测目标在后继帧中的位置，不仅实现了有效的单人脸跟踪，而且还大大减小搜索面积，使整个处理速度大幅提高。 随后又提出了一种基于双层匹配数据关联的、能处理复杂情况的多人脸跟踪系统。该系统包含捕获态、跟踪态、遮挡态、暂时消失态、新出现状态和终止态共6个状态，可以处理多人脸跟踪中的“遮挡一分裂”、“暂时消失一重现”等多种复杂情况。同时，还提出了一种基于“空间一灰度”的双层匹配的数据关联算法来确定相邻帧间多个目标的相关关系，并突破传统数据关联算法的框架，将Adaboost检测的中间结果作为灰度判据的一个重要数据源，取得了良好的效果。 本文所有算法均在VC6.0环境下用C语言编写完成并进行了实验。实验结果表明，本文提出的人脸检测与跟踪系统对监控场景图像序列具有较高的检测率和跟踪正确率，速度能达到实时应用的需求，充分证明了所提出算法的有效性，为后续处理的研究打好了基础。