人脸检测与跟踪是人脸信息分析中的基础和关键技术之一，在视频监控、人机交互、生物特征识别、基于内容的图像检索、图像编码等方面都有着广泛的应用前景。在人脸检测方面，本文重点研究了基于肤色的人脸检测算法和基于AdaBoost的人脸检测算法，受积分图像的启发，利用肤色二值化积分图实现检测窗口中肤色像素比例的快速计算，将肤色信息引入AdaBoost人脸检测算法中，对检测窗口将进行初选，有效地减少了彩色图像中的误检测现象。在人脸跟踪方面，本文深入研究了均值移动算法和CamShift算法，CamShift算法是以均值移动算法为核心的改进算法，该算法不受跟踪目标形状和大小的影响，具有很强的抗亮度变化和噪声干扰的能力，而且CPU的占用率非常低，适合作为人机交互界面的接口，但抗肤色背景干扰和目标遮挡的能力较差。针对以上缺点本文提出了更新跟踪目标和引入辅助信息的方法对CamShift算法进行改进，结合AdaBoost人脸检测算法实现了跟踪目标的自动初始化，通过构建多个CamShift跟踪器，实现了多人脸的跟踪。最后，本文在VC++6.0应用环境下，开发了多人脸自动检测与跟踪的测试系统，实验结果证明改进后的人脸检测与跟踪算法具有较强的实时性和鲁棒性。