在信息化的时代,视频监控得到了长足的发展,每天从监控中产生的大量数据里面存在很多不必要的信息。这些不必要的信息占用了存储资源。如何从这些视频中提取出有用的信息,是现在智能监控系统需要解决的重要问题。多目标检测和跟踪技术是计算机视觉研究的重要问题。该技术利用计算机视觉相关技术以及机器学习、模式识别等技术,分析视频数据并提取关键信息,从而实现对目标的检测和跟踪。在线多目标跟踪和物体检测有着广泛的应用场景,例如视频监控、机器人以及危险行为分析等等,这些都需要实时获得目标的位置。本文提出了一个基于自动检测的多目标跟踪方法,并搭建了相应的实用系统。我们将业界流行的ACF物体检测算法和背景差分方法有机结合起来改进运动目标的检测结果,并借鉴已有方法将目标跟踪形式化为一个马尔科夫决策过程,特别针对小物体、光流跟踪不够稳定以及物体交错情况下跟踪容易失败等问题做了相应的改进,显著提高了多目标检测和跟踪的稳定性。针对小物体,本文利用前背景差分算法检测出前景区域,然后将较小的区域认为是小物体,作为对ACF物体检测的补充；针对光流点均匀采样可能会造成背景区域的光流点对跟踪造成干扰导致不稳定的情况,本文提出采用基于前景分割的自适应采样策略,利用前背景差分算法检测出的前背景区域,增大处于前景区域的光流点的数目,减少背景区域的光流点数目来改进目标跟踪的稳定性；针对物体交错时标识分配错误的问题,本文提出采用基于历史运动信息的推测和目标面积异常检测的方法对光流正确跟踪的结果进一步筛选,并排除丢失状态到跟踪状态的错误转移。基于这些改进,我们成功搭建了一个鲁棒的多目标在线检测和跟踪系统,并在MOT等数据集上进行测试和比较,验证系统的有效性。