论文部分内容阅读
随着现代社会的发展,机动车辆日益增多,这为智能化的交通管理提出了更高的要求。车辆的车牌信息是车辆的主要特征,因此车牌识别算法在智能化的交通管理系统中有着举足轻重的地位。车牌识别算法广泛应用于出入口控制、收费站等场景,此外,在无人机和手机拍摄等图像识别中也有相关的应用。传统的方法识别车牌需要多种方法综合,实现步骤复杂,而且在识别率和鲁棒性上与深度学习方法相比有一定的差距。国内车牌形式多样,颜色繁杂,尺寸不完全统一,如今还出现了8个字符的车牌。传统方法在光照变化、图像模糊、车牌破损、车牌尺寸变化等情况下难以准确的识别车牌。本文主要针对传统方法在车牌识别上缺乏鲁棒性,而提出了基于深度学习的车牌识别方法,并将其应用到校园出入口场景下实现较鲁棒,较准确的车牌识别。本文的主要研究工作和贡献如下:(1)研究了深度学习中的目标检测算法,通过改进将其应用到车牌定位上。本文主要实现了改进的多任务卷积神经网络(Multi-task Convolutional Neural Networks,MTCNN)算法,改进的You Only Look Once(YOLO)算法,并提出了基于RetinaNet的改进算法LPRetinaNet算法。改进的MTCNN算法解决了图像多尺度问题,可以准确而鲁棒的实现车牌定位任务,该方法在自建数据集上的定位准确率达到99.7%,在中国城市停车场数据集(Chinese City Parking Dataset,CCPD)2019 weather数据集上定位准确率达到了99.49%,可以实现较为鲁棒的车牌定位;通过使用分辨率较高的图像数据集训练模型,基于改进的YOLO算法实现了对图像分辨率较低的情况下的准确定位,该方法主要4个改进点:第一,改进特征提取网络;第二,将特征图的输出改为14×14;第三,在原损失函数上增加了广义交并比(Generalized Intersection over Union,GIoU)损失;第四,在训练阶段IoU的计算方式采用GIoU。通过实验发现,基于DetNet59的骨干网络的改进YOLO算法在自建数据集上准确率达到了99.97%,定位时间仅需46.7ms,基于DarkNet19的骨干网络在自建数据集和CCPD 2019 weather数据集上准确率分别达到了99.95%和98.44%。最后为了提高定位的精细化,实现对倾斜车牌的矫正,本文提出了基于LP-RetinaNet的车牌定位算法,通过网络即可实现车牌定位和车牌矫正,该算法相比原RetinaNet算法,改进了骨干网络模型、加入了Single Stage Headless(SSH)模块、加入了关键点损失,该模型实现了轻量化的设计,在自建数据集上准确率达到了97%,在CCPD 2019 weather数据集上准确率达到了99.63%,实现了较为鲁棒的车牌定位。(2)研究了传统方法中的车牌字符分割算法,结合实验室和前人的研究实现了较为准确的车牌字符分割。本文实现的车牌字符分割算法其在500张定位好的车牌上其分割准确率达到了99.6%,基本可以实现对常规车牌较准确的分割。(3)研究了基于卷积神经网络(Convolutional Neural Networks,CNN)的字符识别方法和基于卷积循环神经网络(Convolutional Recurrent Neural Networks,CRNN)的序列识别方法,通过改进实现了较准确的车牌字符识别。本文提出了基于改进LeNet-5的车牌字符识别方法,其在中文字符和字母和数字字符上平均准确率达到了99%;此外本文提出了基于改进CRNN网络结构的方法,通过设计车牌序列识别网络(License Plate Sequence Recognition–Networks,LPSR-Net)模型,使用人工合成数据集312508张车牌图像和CCPD2019数据集的115817张车牌图像训练模型,在CCPD 2019数据集的45057张车牌图像上测试,其识别准确率达到99.7%,高于原CRNN模型0.5个百分点,高于车牌识别神经网络(License Plate Recognition via Deep Neural Networks,LPRNet)模型1.2个百分点。(4)研究了多种端到端的车牌识别算法并和开源算法等对比,通过实验发现基于LPRetinaNet和LPSR-Net的方法其包含定位和识别在内,在1800张宽640像素,高480像素的离线含车牌图片数据上的准确率达到了96.05%,平均耗时只需81毫秒,比HyperLPR开源车牌识别系统高16.33个百分点,比Lab-212-LPRS-v3高16.05个百分点。(5)通过加入触发模块的方式从摄像头中实时捕获车牌图像,本文实现的车牌识别系统在校园卡口的1000张图像尺寸为1920×1080的彩色含车牌图像上的实测结果其全字符平均准确率达到了99.8%,平均耗时为407毫秒,该方法基本可以满足校园场景下较鲁棒、较准确的车牌识别。