随着中国城市化进程的加快以及经济的高速发展，我国的交通工具数目正逐年大幅度上升，这些工具在带给人方便的同时，也带来了一系列诸如环境污染、交通道路拥挤、交通事故频发的问题。在此背景下，基于机器视觉的智能交通控制系统应运而生。在此系统中，车辆目标的检测、跟踪以及行为分析是最基础的部分。本文从目前常用的检测与跟踪算法入手，主要做了以下几方面的工作：(1)传统的混合高斯建模算法仅设定一个固定的背景学习率，当环境发生突变时，传统算法难以在短时间内恢复到正常检测状态。针对这个问题，首先设计一个环境变化判断因子，其值为前景像素点数目与总像素点数目的比值，然后根据因子值大小对背景学习率进行调整。实验证明，该方法可以较快的使检测系统克服环境突变带来的影响。(2)针对CamShift算法在目标运动状态发生改变时易产生跟踪失败的问题，在CamShift算法的基础上，引入了卡尔曼滤波。先用Kalman滤波器对运动状态进行预估，获得目标在当前帧中的预估位置，然后在预估位置处运行CamShift算法进而到达目标的真实位置。实验结果证明，该方法可以有效解决运动状态的改变对CamShift算法带来的影响。(3)传统CamShift算法在跟踪目标时需要手动框定目标，并且不能实现多目标的跟踪。针对CamShift算法不能全自动跟踪的问题，提出先运用改进的混合高斯模型进行目标检测，然后将检测到的目标加入跟踪链表，在后续的视频帧中对被跟踪目标运行CamShift算法。同时设计了一个多目标跟踪列表来对单目标和多目标进行跟踪。最后通过实验证明该算法可以进行全自动多目标的跟踪。(4)最后，在车辆检测与跟踪算法的基础上，阐述了车辆计数、车速测算及车辆逆行判定的方法，同时进行了相关的实验和仿真。结果表明，本文算法可以有效运用到车辆行为分析工作之中。