论文部分内容阅读
摘 要 在中国，由于智能交通系统的广泛应用，车牌识别（LPR）技术的地位与日俱增并起着十分重要的作用。但是，在应用中由于复杂的路况和天气可能使部分车牌文本被遮挡，目前大部分的车牌识别技术都能更好的识别车牌的字符信息，但对于部分被遮挡或信息不完整的车牌的识别效率和准确率较低。本文介绍了车牌识别的三步骤、车牌识别的算法发展、车牌文字识别的方法及发展和车牌识别的未来发展方向，并提出人工智能在车辆车牌照片图像和车牌文本识别的应用，使高效、高准确率的车牌识别成为可能。
关键词 车牌识别 判别式分析 智能交通
中图分类号：TP2 文献标识码：A 文章编号：1007-0745（2021）09-0061-02
1 前言
智能交通体系极大地方便了人们的出行和生活。 随着智能交通的飞速发展与完善，车牌识别技术在交通管理、数字安全监控、车辆识别、停车管理、监视过境和搜索可疑车辆等多个领域中频繁使用，已成为智能交通系统的重要组成部分。这些具有巨大经济价值的应用技术， 不仅显著地提高了工作效率， 还节约了人力和物力资源。
2 车牌识别的步骤
LPR系统是几个模块的组合，涉及对象检测、图像处理和模式识别。除了图像采集和预处理之外，读取车牌的过程还经历了三个主要阶段：第一阶段是板定位或板提取，即定位图片中的牌照位置;第二阶段是字符分割，即把每个字符都被检测到并与其他字符分开;第三阶段是字符识别，即把分割好的字符进行识别，并最终组成牌照号码。车牌识别过程中，牌照颜色的识别依据算法不同，可能在上述不同步骤实现，通常与车牌识别互相配合、互相验证。实际上，车牌识别过程包括图像采集、预处理、车牌定位、字符分割、字符识别、结果输出等一系列算法运算。
3 车牌识别的算法发展
目前车牌识别技术发展已经比较成熟， 识别准确率和鲁棒性均比较高。C. Sharma 和 A. Kaur提出了利用直方图均衡的边缘检测技术来检测和识别印度车牌，识别率为89%，其主要领域是分割部分，但所提出的方法对角度和环境敏感。M.H.Dashtban尝试使用边缘检测和神经网络算法两种算法来测试巴黎车牌，识别率达到94%。这项研究的优势在于图像数据库包含了在不同光照条件下具有不同背景和坡度的各种车辆的图像。R.Lee和K.Hung使用100个样本图像研究了基于Haar离散小波变换这种执行速度较快的方法进行实时车牌识别，有93%的准确率[1]。G.Lekhana和 R.Srikantaswamy用神经网络和支持向量机支持向量机识别车牌号，无需对图像进行任何增强，这种方法能够成功识别运动中的车辆。S.Qing-kun和Y.Hui-jun利用140个样本图像对中国车牌进行了基于数学形态学方法和RBF神经网络的车牌识别研究，达到了94%的识别率。通过使用RBF神经网络基函数中心确定算法，可以直接确定隐藏节点的数量，易于实现且识别精度较高。另一方面，在中国的车牌识别领域中也提出了一种新的方法，即PVD ，这种方法可以适应性地处理车牌中的各种变化，例如旋转、缩放、照明。利用支持向量机与神经网络的模板匹配，成功识别出印度车牌，识别率为96%。H. Rajput通过边缘检测和形态学运算进行Gussing滤波的实验，该实验对250个澳大利亚车牌进行了测试，并获得了96%的识别率[2]。
4 车牌文字识别的方法及发展
对于车牌文字识别的方法，目前主要是采用判别式分析方法，这些方法包括基于模板匹配的字符识别、基于支持向量机的字符识别和神经网络的字符识别算法等。
艾哈迈德（Ahmed）等人提出了模板匹配。模板匹配是一种简单的方法。字符和模板之间的相似性是度量，与角色最相似的模板被识别为目标，大多数模板匹配方法都使用二进制图像，因为灰度会由于光照的变化而改变，在将提取的字符调整为相同大小后执行模板匹配。此方法对于识别非旋转，不间断的单个字体很有用。如果由于字体变化、旋转、杂音而使字符与模板不同，则模板匹配会产生错误的识别[3]。
LeCun等人使用HOG功能进行字符识别，在训练阶段，从每个字母的高分辨率图像生成训练数据，然后获得每个字母在HOG特征空间中的分布。在识别阶段，从图像中切出每个字符，计算出HOG特征向量，并根据上面获得的HOG特征空间中的分布识别字符。支持向量机和神经网络有较强的自学能力，能够在一定程度上克服字符形状的改变和位置偏移的缺陷[4]。
Siddharth等人使用支持向量机（SVM）分类器，SVM分类器由一组给定的训练数据进行训练，并准备了一个基于该模型对测试数据进行分类的模型。对于多分类问题，我们将多分类问题分解为多个二进制分类问题，并设计了合适的组合多个二进制SVM分类器。根据如何以适当的余量将所有样本分为不同的类别，在SVM分类器中使用了不同类型的内核[5]。
Sharma和Singh已将人工神经网络应用于字符识别，这种方法模拟了人类神经系统创建智能行为的方式。这个想法是采用大量的角色（称为训练集），然后开发一个可以从这些训练中学习的系统。换句话说，神经网络使用训练来自动推断识别字符的规则。这些方法在良好的数据集上可以取得令人印象深刻的结果，但在质量较差的数据集上仍会产生不正确的识别，CNN的引入使得模糊数据集的字符识别做得更好。
Bounchain在角色识别任务中应用了Lenet-5，该网络已用包含50，000多个手写数字的数据库进行了测试，所有数字均在输入图像中进行了标准化，达到了约0.95%的错误率[6]。
5 现状和不足
实际应用中，车牌识别系统的识别率还与牌照质量和拍摄质量密切相关。牌照质量会受到各种因素的影响，如生锈、污损、油漆剥落、字体褪色、牌照被遮挡、牌照倾斜、高亮反光、多牌照、假牌照等等;实际拍摄过程也会受到环境亮度、拍攝方式、车辆速度等等因素的影响。这些影响因素不同程度上降低了车牌识别的识别率，也正是车牌识别系统的困难和挑战所在。为了提高识别率，除了不断地完善识别算法还应该想办法克服各种光照条件，使采集到的图像最利于识别。 車牌识别在过去的几年内取得了骄人的成绩，但还是存在着有待解决的问题。比如，现实应用中往往会因为沙尘、溅起的泥巴、雨水腐蚀、风化等各种原因使得车牌的字符不完整，致使字符分割和识别可能会遇到麻烦。上文提到的高识别准确率的方法在不完整车牌识别中结果不尽如人意。在常态下识别率达到98%的XX网络用于识别文字残缺不全的车牌，识别率降低一半以下，因此如何正确地分割和识别车牌文字成为一项艰巨的任务。
6 展望及发展方向
令人振奋的是，得益于图像修复技术的发展，我们可以通过技术手段对残缺文字进行修补，还原文字的真实形态。近年来，深度学习在图像语义修复、情感感知、模式识别以及特征分类等领域展现出喷发时发展的态势[7]，特别在图像生成方面，表现出优越的性能。基于深度学习的图像生成算法相对于传统的基于结构和纹理的生成算法能够捕获更多图像的高级特征，常用于进行纹理合成和图像风格化迁移。2014年由Goodfellow提出的生成式对抗网络（GAN）在图像生成领域取得了开创性进展，在图像生成的过程中，生成式对抗网络相对于传统的编码-解码器而言能够更好地拟合数据，且速度较快，生成的样本更加锐利，但该方法也存在不足，如数据训练不稳定、模型自由不可控、训练崩溃等问题。[8]2016年，Radford等人发表了一篇名为《无监督代表性学习与深度卷积生成式对抗性网络》的论文，提出深度卷积生成式对抗网络DCGAN。DCGAN融合CNN和GAN，通过设计独特的网络结构，使得训练更加稳定[9]，这是首篇表明向量运算可以作为从生成器中学习的固有属性进行特征表达的论文。2019年SHENG ZHANG等人提出了一个有效而高效的共享对抗训练网络（SATN），该网络可以在具备标准模板渲染车牌的先验知识的情况下，从车牌中学习与环境无关且无透视的语义特征[10]。
生成式对抗网络（GAN）的出现也给类似被遮挡的车牌识别问题带来曙光，将车牌识别率进一步提高。当然，车牌识别还会受到光照、倾斜度、阴影、字符磨损变形、运动等诸多因素影响[11]，因此车牌识别仍需要继续研究。
参考文献：
[1] 赵汉理，刘俊如，姜磊，沈建冰，胡明晓.基于卷积神经网络的双行车牌分割算法[J].计算机辅助设计与图形学学报，2019（08）：1320-1329.
[2] Pham V H，Dinh P Q，Nguyen V H.CNN-Based Character Recognition for License Plate Recognition System[J].2018.
[3] Dashtban M H，Dashtban Z，Bevrani H.A Novel Approach for Vehicle License Plate Localization and Recognition[J].International Journal of Computer Applications，2011，26 （11）：22-30.
[4] Lee R C，Hung K C，Wang H S.Real-Time Vehicle L icense Plate Recognition Based on Scanning and 2D Haar Discrete Wavelet Transform[J].Applied Mechanics & Materials，2013（284-287）：2402-2406.
[5] Qing-Kun S，Hui-Jun Y，Teng Z.License plate recognition based on mathematical morphology method and RBF neural network[C].International Conference on Measurement， Information & Control，2012.
[6] Zhou W，Li H，Lu Y，et al.Principal Visual Word Discovery for Automatic License Plate Detection[J].ieee transactions on image processing a publication of the ieee signal processing society，2012，21（09）：4269-79.
[7] 潘翔，王恒.基于深度学习的车牌相似字符识别[J].计算机科学，2017（S1）：239-241，257.
[8] Alom M Z，Sidike P，Hasan M，et al.Handwritten Bangla Character Recognition Using the State-of-the-Art Deep Convolutional Neural Networks[J].Computational Intelligence & Neuroscience，2018：1-13.
[9] Xie L，Ahmad T，Jin L，et al. A New CNN-Based Method for Multi-Directional Car License Plate Detection[J].IEEE Transactions on Intelligent Transportation Systems，2018：1-11.
[10] Rajput H，Som T，Kar S.An Automated Vehicle License Plate Recognition System[J].Computer，2015，48（08）：56-61.
[11] Haykin S，Kosko B. GradientBased Learning Applied to Document Recognition[D].Wiley-IEEE Press，2009.
关键词 车牌识别 判别式分析 智能交通
中图分类号：TP2 文献标识码：A 文章编号：1007-0745（2021）09-0061-02
1 前言
智能交通体系极大地方便了人们的出行和生活。 随着智能交通的飞速发展与完善，车牌识别技术在交通管理、数字安全监控、车辆识别、停车管理、监视过境和搜索可疑车辆等多个领域中频繁使用，已成为智能交通系统的重要组成部分。这些具有巨大经济价值的应用技术， 不仅显著地提高了工作效率， 还节约了人力和物力资源。
2 车牌识别的步骤
LPR系统是几个模块的组合，涉及对象检测、图像处理和模式识别。除了图像采集和预处理之外，读取车牌的过程还经历了三个主要阶段：第一阶段是板定位或板提取，即定位图片中的牌照位置;第二阶段是字符分割，即把每个字符都被检测到并与其他字符分开;第三阶段是字符识别，即把分割好的字符进行识别，并最终组成牌照号码。车牌识别过程中，牌照颜色的识别依据算法不同，可能在上述不同步骤实现，通常与车牌识别互相配合、互相验证。实际上，车牌识别过程包括图像采集、预处理、车牌定位、字符分割、字符识别、结果输出等一系列算法运算。
3 车牌识别的算法发展
目前车牌识别技术发展已经比较成熟， 识别准确率和鲁棒性均比较高。C. Sharma 和 A. Kaur提出了利用直方图均衡的边缘检测技术来检测和识别印度车牌，识别率为89%，其主要领域是分割部分，但所提出的方法对角度和环境敏感。M.H.Dashtban尝试使用边缘检测和神经网络算法两种算法来测试巴黎车牌，识别率达到94%。这项研究的优势在于图像数据库包含了在不同光照条件下具有不同背景和坡度的各种车辆的图像。R.Lee和K.Hung使用100个样本图像研究了基于Haar离散小波变换这种执行速度较快的方法进行实时车牌识别，有93%的准确率[1]。G.Lekhana和 R.Srikantaswamy用神经网络和支持向量机支持向量机识别车牌号，无需对图像进行任何增强，这种方法能够成功识别运动中的车辆。S.Qing-kun和Y.Hui-jun利用140个样本图像对中国车牌进行了基于数学形态学方法和RBF神经网络的车牌识别研究，达到了94%的识别率。通过使用RBF神经网络基函数中心确定算法，可以直接确定隐藏节点的数量，易于实现且识别精度较高。另一方面，在中国的车牌识别领域中也提出了一种新的方法，即PVD ，这种方法可以适应性地处理车牌中的各种变化，例如旋转、缩放、照明。利用支持向量机与神经网络的模板匹配，成功识别出印度车牌，识别率为96%。H. Rajput通过边缘检测和形态学运算进行Gussing滤波的实验，该实验对250个澳大利亚车牌进行了测试，并获得了96%的识别率[2]。
4 车牌文字识别的方法及发展
对于车牌文字识别的方法，目前主要是采用判别式分析方法，这些方法包括基于模板匹配的字符识别、基于支持向量机的字符识别和神经网络的字符识别算法等。
艾哈迈德（Ahmed）等人提出了模板匹配。模板匹配是一种简单的方法。字符和模板之间的相似性是度量，与角色最相似的模板被识别为目标，大多数模板匹配方法都使用二进制图像，因为灰度会由于光照的变化而改变，在将提取的字符调整为相同大小后执行模板匹配。此方法对于识别非旋转，不间断的单个字体很有用。如果由于字体变化、旋转、杂音而使字符与模板不同，则模板匹配会产生错误的识别[3]。
LeCun等人使用HOG功能进行字符识别，在训练阶段，从每个字母的高分辨率图像生成训练数据，然后获得每个字母在HOG特征空间中的分布。在识别阶段，从图像中切出每个字符，计算出HOG特征向量，并根据上面获得的HOG特征空间中的分布识别字符。支持向量机和神经网络有较强的自学能力，能够在一定程度上克服字符形状的改变和位置偏移的缺陷[4]。
Siddharth等人使用支持向量机（SVM）分类器，SVM分类器由一组给定的训练数据进行训练，并准备了一个基于该模型对测试数据进行分类的模型。对于多分类问题，我们将多分类问题分解为多个二进制分类问题，并设计了合适的组合多个二进制SVM分类器。根据如何以适当的余量将所有样本分为不同的类别，在SVM分类器中使用了不同类型的内核[5]。
Sharma和Singh已将人工神经网络应用于字符识别，这种方法模拟了人类神经系统创建智能行为的方式。这个想法是采用大量的角色（称为训练集），然后开发一个可以从这些训练中学习的系统。换句话说，神经网络使用训练来自动推断识别字符的规则。这些方法在良好的数据集上可以取得令人印象深刻的结果，但在质量较差的数据集上仍会产生不正确的识别，CNN的引入使得模糊数据集的字符识别做得更好。
Bounchain在角色识别任务中应用了Lenet-5，该网络已用包含50，000多个手写数字的数据库进行了测试，所有数字均在输入图像中进行了标准化，达到了约0.95%的错误率[6]。
5 现状和不足
实际应用中，车牌识别系统的识别率还与牌照质量和拍摄质量密切相关。牌照质量会受到各种因素的影响，如生锈、污损、油漆剥落、字体褪色、牌照被遮挡、牌照倾斜、高亮反光、多牌照、假牌照等等;实际拍摄过程也会受到环境亮度、拍攝方式、车辆速度等等因素的影响。这些影响因素不同程度上降低了车牌识别的识别率，也正是车牌识别系统的困难和挑战所在。为了提高识别率，除了不断地完善识别算法还应该想办法克服各种光照条件，使采集到的图像最利于识别。 車牌识别在过去的几年内取得了骄人的成绩，但还是存在着有待解决的问题。比如，现实应用中往往会因为沙尘、溅起的泥巴、雨水腐蚀、风化等各种原因使得车牌的字符不完整，致使字符分割和识别可能会遇到麻烦。上文提到的高识别准确率的方法在不完整车牌识别中结果不尽如人意。在常态下识别率达到98%的XX网络用于识别文字残缺不全的车牌，识别率降低一半以下，因此如何正确地分割和识别车牌文字成为一项艰巨的任务。
6 展望及发展方向
令人振奋的是，得益于图像修复技术的发展，我们可以通过技术手段对残缺文字进行修补，还原文字的真实形态。近年来，深度学习在图像语义修复、情感感知、模式识别以及特征分类等领域展现出喷发时发展的态势[7]，特别在图像生成方面，表现出优越的性能。基于深度学习的图像生成算法相对于传统的基于结构和纹理的生成算法能够捕获更多图像的高级特征，常用于进行纹理合成和图像风格化迁移。2014年由Goodfellow提出的生成式对抗网络（GAN）在图像生成领域取得了开创性进展，在图像生成的过程中，生成式对抗网络相对于传统的编码-解码器而言能够更好地拟合数据，且速度较快，生成的样本更加锐利，但该方法也存在不足，如数据训练不稳定、模型自由不可控、训练崩溃等问题。[8]2016年，Radford等人发表了一篇名为《无监督代表性学习与深度卷积生成式对抗性网络》的论文，提出深度卷积生成式对抗网络DCGAN。DCGAN融合CNN和GAN，通过设计独特的网络结构，使得训练更加稳定[9]，这是首篇表明向量运算可以作为从生成器中学习的固有属性进行特征表达的论文。2019年SHENG ZHANG等人提出了一个有效而高效的共享对抗训练网络（SATN），该网络可以在具备标准模板渲染车牌的先验知识的情况下，从车牌中学习与环境无关且无透视的语义特征[10]。
生成式对抗网络（GAN）的出现也给类似被遮挡的车牌识别问题带来曙光，将车牌识别率进一步提高。当然，车牌识别还会受到光照、倾斜度、阴影、字符磨损变形、运动等诸多因素影响[11]，因此车牌识别仍需要继续研究。
参考文献：
[1] 赵汉理，刘俊如，姜磊，沈建冰，胡明晓.基于卷积神经网络的双行车牌分割算法[J].计算机辅助设计与图形学学报，2019（08）：1320-1329.
[2] Pham V H，Dinh P Q，Nguyen V H.CNN-Based Character Recognition for License Plate Recognition System[J].2018.
[3] Dashtban M H，Dashtban Z，Bevrani H.A Novel Approach for Vehicle License Plate Localization and Recognition[J].International Journal of Computer Applications，2011，26 （11）：22-30.
[4] Lee R C，Hung K C，Wang H S.Real-Time Vehicle L icense Plate Recognition Based on Scanning and 2D Haar Discrete Wavelet Transform[J].Applied Mechanics & Materials，2013（284-287）：2402-2406.
[5] Qing-Kun S，Hui-Jun Y，Teng Z.License plate recognition based on mathematical morphology method and RBF neural network[C].International Conference on Measurement， Information & Control，2012.
[6] Zhou W，Li H，Lu Y，et al.Principal Visual Word Discovery for Automatic License Plate Detection[J].ieee transactions on image processing a publication of the ieee signal processing society，2012，21（09）：4269-79.
[7] 潘翔，王恒.基于深度学习的车牌相似字符识别[J].计算机科学，2017（S1）：239-241，257.
[8] Alom M Z，Sidike P，Hasan M，et al.Handwritten Bangla Character Recognition Using the State-of-the-Art Deep Convolutional Neural Networks[J].Computational Intelligence & Neuroscience，2018：1-13.
[9] Xie L，Ahmad T，Jin L，et al. A New CNN-Based Method for Multi-Directional Car License Plate Detection[J].IEEE Transactions on Intelligent Transportation Systems，2018：1-11.
[10] Rajput H，Som T，Kar S.An Automated Vehicle License Plate Recognition System[J].Computer，2015，48（08）：56-61.
[11] Haykin S，Kosko B. GradientBased Learning Applied to Document Recognition[D].Wiley-IEEE Press，2009.