文字作为人类信息交流的重要载体,蕴含着非常丰富的语义信息,对图像中文字的识别与理解具有重要意义。随着人工智能技术的飞速发展,基于深度学习的场景文本识别技术取得了较大进展,然而,目前的方法还存在识别精度不够、对于形变文字的识别能力不足等问题,离实际应用尚有一定差距。目前的场景文本识别算法存在着以下问题:(1)特征提取网络不能很好地适配场景文本的输入图像;(2)不能直接地利用显式语言模型来充分挖掘语义信息;(3)现有基于一维编码解码网络的识别算法不能有效处理二维图像信息。针对以上问题,本文提出了一种基于双注意力机制以及二元关联语义信息的场景中文文本识别方法。包括特征提取模块、编码解码模块、二元关联语义信息模块、双注意力网络模块等。本文的具体贡献如下:1.针对目前特征提取网络没有办法很好地处理小尺寸的文本输入图像。本文提出了一个多尺度融合残差网络,有效地提升特征提取能力。该网络在ResNet使用跳线在卷积层输入输出做残差的基础上,同时对输入输出特征图进行通道拼接,来对不同尺度的特征图信息进行融合。由于跳线数量没有增加,不容易引起过拟合,同时可以利用不同尺度的信息帮助识别。2.为了有效地利用语言模型,本文借鉴因子分解机算法,提出了一个二元关联语义模型。可以同时挖掘顺序信息以及跳步信息。该模型在预测序列某个字符时,使用以往的预测字符向量进行两两点乘,得到二元关联语义信息,接着利用二元关联语义信息指导当前预测字符的生成。相对于只能隐式学习顺序信息的LSTM可以更好地挖掘语义信息。3.针对不规则文字的识别,提出了一种基于双注意力机制的场景文本识别模型,可以同时处理二维图像特征以及一维序列特征,以应对一些扭曲文本的识别。双注意力机制利用序列注意力权重对序列特征进行加权,经编码器编码得到一维序列信息,同时使用图像注意力权重对二维图像特征进行加权,得到二维图像信息。最后,结合序列信息以及图像信息进行识别。双注意力机制可以很好地学习输入图像的空间以及结构信息,相对于传统基于序列的单注意力机制起到了很好的信息补充作用。本文利用中文文本场景数据库MTWI以及百度OCR进行了测试,实验结果表明,本文提出的场景中文文本识别模型,相对于基础编码解码网络,识别性能在两个数据集上分别提升了 2%、6%。在相同数据集上与业界领先方法SAR相比,分别提升了0.7%、2.9%,验证了本文方法的有效性。