文字,是人类记录思想的符号,是交流信息的工具。文字对人类日常生活的重要性不言而喻。场景文字是指自然场景图像中的文字,路标图像、广告牌图像和车牌图像都携带场景文字。识别自然场景图像中的文字有广泛的应用,如车牌识别、卡证识别和自动驾驶。在几十年前,文字识别的研究主要针对扫描文档文字,经过长期的研究积累,扫描文档文字识别方法日趋成熟。但是场景文字由于背景复杂、文字呈现形式多变、图像质量低等因素,仍面临很多挑战。其中,不规则场景文字因其字符排列不规则和字符旋转变化导致识别非常困难。近年来,基于注意力机制的方法为不规则场景文字识别提供了新思路。基于注意力机制的方法能够精准的定位字符区域的特征,具有很好的解决字符不规则排列问题的潜力。本文基于注意力机制的方法,对不规则场景文字识别展开一系列研究:(1).本文提出一种基于注意力机制并整合Gabor卷积神经网络来处理不规则文本的方法。Gabor卷积神经网络能够提取对于方向变化更鲁棒的特征,它通过将多方向的Gabor滤波器整合到卷积神经网络中得到。序列识别网络是一个基于注意力机制的“编码器-解码器”模型,它利用Gabor卷积神经网络输出的特征序列化的输出每个字符。在多个场景文本数据集上评估本文提出的模型的准确率,包括规则文本和不规则文本。大量的实验表明本文提出的方法在多个场景文本数据集上取得最优的识别性能。(2).本文提出一种优化注意力机制对齐性能的方法。该方法利用字符中心点位置的标注信息,引入对齐损失函数以优化注意力对齐性能。基于“注意力系数分布单峰,且峰值逼近于1”的先验信息,设计了交叉熵损失函数进行优化;基于“注意力系数分布呈正态分布”的先验信息,设计了搬土距离损失函数进行优化;这两种损失函数对于识别性能都有显著提高。(3).本文提出一种基于二维注意力机制的形变及多层车牌识别方法。该方法可处理多层车牌和透视形变的车牌。本文通过改进YOLOv3算法以提高车牌检测的性能,利用透视矫正网络对车牌进行矫正,采用二维注意力机制的方法以识别单层和多层车牌。为提高CPU设备上的推理速度,采用OpenVINO框架作为推理引擎,使用C++代码实现了一个可在CPU上实时运行的车牌识别软件。