基于视觉的多目标跟踪是近几年来计算机视觉、图像处理、模式识别以及人工智能等领域研究中的一项极富挑战性的研究课题。本论文正是结合相关技术研究了基于视觉的多目标跟踪的若干关键技术，包括背景提取与更新、多运动目标检测与阴影消除、状态估计与行为分类以及遮挡判断和跟踪等。 本论文的主要研究内容和创新性工作如下： 1)提出一种基于像素灰度归类的背景重构改进算法。首先针对像素灰度归类法对连续同向(递增或递减)灰度值渐变出现错误归类从而造成背景噪声点的问题，提出相应的改进算法。然后基于选择更新法和背景调整法，给出了RGB色彩空间中一种定时和实时更新相结合的背景更新方法。该方法能有效的消除背景噪声，准确的重构背景，对于环境渐变和突变有较好的适应能力。另外，该方法直接从含有运动前景的场景图像中重构背景，有效地避免了混合现象。 2)提出一种基于离散小波变换的运动目标检测算法。同时，针对目标阴影影响不可忽略的情况，提出了四方向阴影检测和消除方法。该算法首先对背景和序列帧图像分别进行三级小波分解；然后利用第三级低频子图进行背景差分提取运动区域；最后对提取的目标阴影混合区在HSV空间自上向下、自左向右及其反方向分别进行色调、亮度及边界交叉点判别，实现了阴影检测和消除。小波分解的引入降低了背景高频噪声的影响，提高了检测质量和实时性。提出的阴影检测方法解决了暗色目标和阴影难区分的问题，且能够适应室外阴影随光照方向变化的实际情况。 3)提出一种复杂场景中的多目标行为推理和分类方法。该算法首先建立目标模型，并给出了目标运动过程中的尺度(矩形框长和宽参数)校正和速度校正算法；然后，利用Kalman滤波器对目标在下一帧中的运动状态(中心坐标和速度)进行估计，并利用缩放因子得到目标在下一帧中的矩形框尺度估计值；最后，建立场景模型，并以此为基础给出了投射率和遮挡率的概念，将中心关联、区域关联和影响目标行为分类的遮挡因素融合为一体，实现了复杂场景中的多目标行为推理和分类。 4)提出一种基于场景运动分析和部分观测的多运动目标自适应跟踪算法。该算法针对具体的目标行为自适应调整跟踪方案。对于复杂场景中的动态和静态遮挡目标，基于部分观测进行了跟踪。首先，通过比较被遮挡目标预测边界边与检测边界边的位置关系，确定各目标边界边的可观测性。对于可观测的边界边，赋予相应的测量参数；对于不可观测的边界边，进一步采用局部调整的方法获取测量参数。该算法的优点在于当目标被遮挡时，可以利用检测到的部分信息获得较准确的目标测量值，提高了跟踪的鲁棒性和准确性。算法根据不同目标行为对噪声协方差阵进行了自适应调整，使最优估计结果更符合目标的实际运动状态。 5)提出一种基于Mean shift算法的局部最大相似度模板匹配跟踪算法。该算法首先通过离线指定感兴趣目标矩形区域，并基于高斯核函数，建立HSV空间目标核色彩直方图模型；然后利用Kalman滤波器对下一帧中目标位置进行估计；最后以Bhattacharyya系数作为特征相似度测度，利用Mean shift算法递推寻找局部最优解。针对目标遮挡和形变，给出了遮挡判断方法，以及目标模板尺度和色彩核直方图更新方法。引入Kalman估计为Mean shift算法提供可靠的初始迭代点，克服了依靠扩大初始迭代范围来解决局部最优化而导致计算时间过长的问题。给出了Kalman滤波器协方差阵参数的更新方法，降低了累积误差传播。