随着信息处理理论以及计算机技术的发展，计算机视觉的研究得到更加广泛和深入的发展，计算机视觉领域中的目标识别和跟踪是其中最重要的内容，它是融合了数字图像处理，模式识别以及智能分析的交叉学科，在医学、军事、导航、交通，移动机器人等方面都有着广泛的应用前景，尤其是在公共安全保障方面有着不可替代的作用。目前基于视频监控的运动目标跟踪系统中，由于目标运动的不确定性，不同目标之间的遮挡以及复杂背景的干扰，现有的跟踪算法往往出现跟踪失败的情况，其准确性、鲁棒性和实时性等均达不到市场要求。因此本文基于OpenCV开源视觉库，利用Visual C++6.0以及Microsoft Visual Studio2005等开发工具，对目前的一些目标检测与跟踪算法进行了较为深入的研究，并在原来算法的基础上对其进行了优化和改进。首先图像预处理方面，针对图像噪声干扰问题，改进了快速的自适应开关中值滤波算法，对图像中噪声密度不同的区域采用不同大小的中值滤波窗口，并在选取中值的时候采用分组的方式加快算法的处理速度；运动目标前景检测方面，对传统的自适应混合高斯建模算法进行了改进，文中根据运动目标前景个数自适应调整高斯模型数目以及对前后景设定不同的学习率，同时对阴影干扰做了抑制处理，最终提高了前景检测的准确性和鲁棒性。针对单目标跟踪情况，本文提出了基于卡尔曼滤波和均值漂移算法相结合的目标跟踪方法，通过卡尔曼滤波预测目标位置，提高了遮挡情况下跟踪效果；针对多目标跟踪情况，提出了一种基于团块几何特征和颜色矩相结合的多特征融合的多目标跟踪的方法，由于各个目标之间几何特征的相似性，在利用卡尔曼滤波进行跟踪时的结果并不完全准确，因此结合团块的颜色矩进行正确性的判断，实验结果表明，本文提出的多目标跟踪方法具有较好的准确性。针对火车测速系统，利用传统的霍夫直线进行轨道检测时，加入了轨道颜色对比度判断以及限制条件，有效的检测出火车轨道，通过设定感兴趣区域以及虚拟初始触发线圈，最终测得火车速度。