在“地球村”高速发展的推动下,智能视频监控将迎来大数据时代,如何在每天产生的大量的数据中,提取有效的信息和服务,是智能视频监控必须面对的巨大挑战。多目标检测和跟踪技术是智能视频监控系统中的核心技术,利用计算机视觉、模式匹配、人工智能等技术,在不需人为干预的情况下,自动分析视频中动态视觉信息,检测场景中的运动物体并进行跟踪。利用物体的跟踪信息,可以分析和判断目标的行为,对异常行为和突发事件进行及时的反馈。近年来,大批学者投身于该领域进行探索和研究,也提出了很多新的算法和模型,但仍存在很多问题没有解决。本文针对目标检测和跟踪中存在的问题,提出了一个不需要任何先验知识的基于背景差分的多目标检测和跟踪算法。通过结合颜色和边缘信息,利用自适应阈值的方法使得背景差分算法对场景的光照变化以及背景中静止物体突然运动的情况具有较强鲁棒性,能够在复杂的场景下取得较好的前景提取结果。在差分结果的基础上,我们在前景区域提取KLT特征点和区域特征,利用特征点间的距离和与区域特征的关系,对特征点进行聚类,得到局部区域；然后根据局部区域间的距离、前景以及速度等信息,利用模拟退火算法进行优化。最后利用数据关联处理生成物体的运动轨迹信息。并通过实验结果,证明了该方法的适用性和有效性。