高速公路收费系统、超速违章监管、公路稽查等各项智能管理都需要依赖车辆牌照,实时准确的车牌识别是实现各项管理的基础。传统的车牌识别技术依赖直观特征,对图像清晰度和复杂度有较高的限制。基于深度学习的车牌识别算法能自动提取细节特征,提高预测准确度,并随着电子技术和GPU的发展,使得利用深度学习算法来对车牌图像进行实时检测和识别成为可能。但该类方法一般依赖固定的车牌样式,限制其应用价值。车牌识别技术结合人工智能、图像处理、计算机视觉、模式识别、深度学习等技术,为探索复杂场景下基于深度学习的车牌识别任务中具有可行性与实用性的算法,本文开展了以下研究工作:(1)提出了一种数据集合理扩充的方法。针对用于训练的数据集分布不平衡导致训练后泛化性能差的问题,采用对标注的车牌区域进行随机旋转、模糊等数据增强算法。还从网络上收集了一部分车牌图片,并对其进行标注用于训练和测试。为解决字符识别网络训练数据量不充分和图片类型单一的问题,提出使用基于Open CV的车牌合成技术生成不同类型的车牌,增加了网络训练数据量。(2)提出了一种针对多任务卷积神经网络MTCNN在车牌检测任务中的金字塔模型生成方法。针对复杂场景下基于MTCNN的车牌检测方案,在第一阶段占整个检测阶段耗时过大的问题,通过比较单个尺度下模型的精度和回归率变化,确定尺寸分布模型进而改进用于生成多尺度图片的金字塔模型,以减少模型处理时间并提高检测准确度。并根据车牌的长宽比特征,改进了MTCNN三个子网络的输入大小和卷积核大小。最后,调整网络输出并根据MTCNN各个网络的任务改进损失函数。(3)研究并实现字符识别网络LPRNet。针对字符难以分割的问题,采用LPRNet提取特征,再通过CTC和集束搜索分别得到解码结果,最终拼接得到车牌号。为防止偏斜车牌影响识别结果,使用空间变换网络对MTCNN检测到的车牌进行矫正。经过以上研究工作,本文主要以三个公共数据集以及一个网络收集的数据集作为训练和测试用例,即Caltech Cars、English LP、CCPD和Inter LP,使用本文改进的MTCNN级联检测车牌,并用LPRNet识别字符。实验结果表明,在多个场景下车牌图像定位成功率可达94.65%,所有字符的识别准确率可达81.9%,5字以上识别率可达97.3%。并且平均每张车牌端到端处理时间在213ms左右,可以满足实际场景的应用需求。在未来的工作中,将进一步研究车牌识别算法在性能、评价和应用三个方面的扩展,并结合社会安全问题进一步对车辆和车主信息的识别。