基于视频的车辆违章识别系统是将计算机视觉技术融入视频监控系统，通过对视频序列进行分析和处理，判断车辆是否违章并进行记录。本文使用图像处理技术，从车辆交通监控视频图像中识别出车辆的压线、车辆不按路标行驶、驾驶员不系安全带、驾驶员驾车打电话等车辆违章行为，主要研究工作如下：（1）为了克服车道线提取过程中车道线被车辆遮挡的影响，本文先利用混合高斯模型方法提取出场景的背景，在此基础上，研究了一种边缘检测与双极性融合的车道线边缘提取算法。（2）车辆道路违章主要包含车辆压实线违章和不按路标方向行驶违章。本文利用Canny检测算法和形态学图像处理的方法，并结合检测目标的质心、直方图、纹理等特征，通过局部特征匹配的方法对运动车辆目标进行跟踪，从而实现对车辆不按路标行驶的判别。（3）提出了一种改进的基于边缘检测图像的投影直方图的算法，对车窗和驾驶员进行定位，然后利用直线滤波模板对驾驶员的边缘检测图进行滤波，再分情况对Hough变换检测的直线图像进行分析，实现了对驾驶员安全带佩戴情况的识别。（4）通过建立肤色的高斯模型，求得肤色的最大似然度，实现对人体肤色块进行分割，然后根据特征筛选包含人脸在内的肤色块并对该肤色块进行特征提取，把所得的特征向量输入BP人工神经网络进行识别，实现了对驾驶员驾车打电话的情况的识别。