近几年来，随着计算机与信息技术的发展以及相关应用领域的需求，人脸检测与跟踪及其相关技术吸引了众多的研究者，国内外关于人脸检测和人脸跟踪的方法多种多样，并且不断有新的研究成果出现。 本文从人脸检测和人脸跟踪两个方面展开了研究，讨论了国内外目前在这两个领域的研究现状，该课题存在的难点以及各种检测跟踪方法的优缺点。在借鉴了目前国内外在人脸检测和人脸跟踪方向的前沿理论和技术的基础上，结合自己的创新，提出了基于边缘方向直方图的mean shift跟踪算法，并提出了一种目标和目标邻域内的背景相似度度量的方法，以及在复杂背景下如何选择特征进行目标跟踪的方法，开发出了自动人脸检测跟踪系统。 本文主要工作如下： 人脸检测方面，在对已有的大量人脸检测算法进行深入研究、对各种人脸检测算法进行比较后，提出了一种利用肤色提取候选人脸区域，利用模板进行人脸验证的快速人脸检测算法。 人脸跟踪方面，经过对已有人脸跟踪算法进行研究后，提出了基于边缘方向直方图的mean shift人脸跟踪算法。传统的mean shift人脸跟踪算法采用颜色直方图作为跟踪特征，在背景颜色与人脸颜色相似时，导致跟踪受到干扰甚至跟踪错误。基于边缘方向直方图的mean shift人脸跟踪算法，用边缘信息和纹理信息作为跟踪特征。实验结果表明，该方法在背景颜色与肤色相似的情况下，跟踪效果明显优于传统的mean shift跟踪算法。 本文还提出了一种目标与背景相似度的度量方法。该方法通过计算目标和目标邻域内的背景区域在某种特征上的概率密度分布的Bhattacharyya系数来获得目标和背景在该特征上的相似度，并在此基础上提出了一种颜色特征与边缘特征相结合的人脸跟踪方法。该方法通过计算目标和目标邻域内的背景在颜色和边缘两个特征上的相似度，选择目标与背景反差较大的特征来进行跟踪，很大程度上排除了背景的干扰，具有很好的鲁棒性。 此外，开发出了一个自动人脸检测与跟踪系统。系统能够自动检测到视频流中的人脸并对其进行跟踪。当有新的人脸加入时系统会自动将其加入到跟踪序列中，而人脸离开时系统会从跟踪序列中删除相应的人脸。