多目标检测与跟踪是计算机视觉中的热点问题之一,在军事、场景监控、智能交通等领域有广阔的应用前景和巨大的经济价值。本文针对二维彩色图像的目标检测和跟踪中存在的问题,有效地融合深度信息,实现了在光照变化、多目标出现、消失、遮挡等不同情况下的目标检测及定位跟踪。本文的主要工作如下：(1)分析总结了国内外基于彩色图像和深度图像的检测及跟踪方法,搭建了2D/3D相机成像系统,实现了深度图像和彩色图像的配准,获取同视角的深度图像和彩色图像；(2)实现了一种基于颜色信息与深度信息多分类器融合的目标检测方法,通过利用颜色信息及深度信息分别为每个像素建立颜色与深度分类器,自适应地分配分类器权重,从而实现了运动目标的检测,并有效解决了光照、阴影、目标与背景颜色或距离相近等复杂情况下的目标检测问题；(3)依据运动目标的检测结果,基于目标的深度及空间特征,利用前景运动目标的深度分布直方图自适应地确定深度阈值区间,实现了目标不同深度层遮挡时的有效定位；(4)在运动目标检测定位的基础上,针对多目标跟踪过程中目标出现、消失、遮挡及分离等问题,形成一种基于多特征融合的目标关联方法,通过推理分析关联矩阵实现多目标跟踪。