车型识别在交通流量监管、高速公路自动收费系统等领域具有重要作用。基于视频图像处理对车型进行识别，具有采集信息量丰富、适用范围广且视频检测器易于安装等优点，因此对其进行研究及开发具有重要的实际意义。本文在分析研究了运动目标检测、图像特征提取、模式识别理论的基础上，设计了一套基于视频图像SURF(speed up robust features)特征的车型识别系统。该系统分为车辆检测与分割、特征提取和选择、识别三部分。（1）车辆检测与分割部分，提出了一种基于时间差分和背景差分相融合的车辆检测方法。首先利用三帧差分法和迭代均值背景差分法检测出两个运动目标区域，然后把这两个检测结果作逻辑或运算，得到待检测目标。进一步对这个待检测目标做连通域分析，排除非车辆目标对检测结果的影响。最后根据连通域分析的结果，从交通视频中分割出车辆图像。（2）特征提取和选择部分，本文选取SURF算法来描述车辆图像特征。根据采集到的车辆图像的特点，将图像从上到下平均分为4块，提取车脸图像的分块SURF特征均值。特征选择方面，对已提取到的SURF特征均值进行鉴别能力分析，对每个子区域提取鉴别能力最大的前10个特征值作为该区域的特征向量，得到4*10维特征向量，作为该车辆图像的分类特征向量。（3）识别部分，采用RBF神经网络来进行车型识别。本系统应用零指令集计算(Zero Instruction Set Computer, ZISC)技术设计的ZISC78芯片，在硬件上实现RBF神经网络。选用包含8个ZISC78芯片的EZB624PCI神经网络卡，作为车型识别硬件实验平台。最后，通过车型识别性能分析，在实验上将本文提出的车型分类算法与SIFT特征的车型识别进行了对比，结果显示本文提出的车型识别方法识别率和识别时间上都能较好的满足实用要求。本文对基于视频图像的车型自动识别发展具有重要的意义和应用价值。