随着经济的发展，城市中车辆数量越来越大，交通问题日益突出，这使得发展智能交通系统成为了需要迫切解决的问题。车牌识别系统是智能交通系统的重要组成部分，广泛应用于违章车辆稽查、城市监控系统、停车场、高速公路收费站等需要认证车牌的相关场合。然而，目前城市使用的车牌识别系统大都属于固定式系统，安装在各主要路口，背景相对简单，受干扰较小，虽然识别率较高但缺乏灵活性。流动式交通监察车可以停留在任何地方，对过往车辆进行车牌检测，并通过查询数据库获知通过车辆的相关信息，因此，该车内的车牌识别系统需要在复杂多变的背景下完成车牌识别，本文就是对复杂背景下车牌识别系统算法进行深入研究。首先，利用码本建模法对视频图像建立背景模型，根据模型检测出运动车辆位置；其次，结合车牌纹理特征及几何特征，利用数学形态学方法对车牌进行快速准确的定位，并根据车牌字符的几何特征利用投影法对字符进行分割；最后，针对常见的字符识别方法具有运算量大，速度慢，不能满足实时要求的缺点，采用特征分类的模板匹配字符识别方法识别车牌字符。本文以模拟摄像头、大恒图像采集卡和PC机为硬件实验平台，基于VC++6.0并结合OpenCV视觉函数库设计了车牌识别系统软件。实验结果表明，该系统能够正确的定位和识别复杂背景下的车牌字符，稳定性好，识别率高，有一定的理论意义和应用价值。