场景文字识别,手写文字识别,音乐乐谱识别等基于图像的序列识别问题一直是计算机视觉领域的研究热点。不同于识别扫描文档中文字的光学字符识别(Optical Character Recognition),场景文字识别(Scene Text Recognition)指的是识别自然场景图像中的文字。鉴于自然场景图像的背景复杂(栅栏,草丛,建筑物等),图像中的文字模式多变(字体不一,排列方向多变,艺术字等),场景文字识别目前还面临较多的技术难点。传统的场景文字识别主要包括3个顺序子任务:文字检测,文本框裁剪和文字识别。传统的场景文字识别算法在文字检测和文字识别阶段都需要使用卷积神经网络提取输入图像的特征图谱(向量),此外还需要使用OpenCV等图像处理工具将只包含文字的文本框从图像上逐一裁剪下来。这些冗余的步骤显著地降低了场景文字识别系统的识别速度。传统的场景文字识别算法将文字检测和文字识别视为2个独立而且互不相关的子任务。实际上文字检测和文字识别是高度相关且互补的任务。精准的文字检测可以提高文字识别的准确率;同理文字识别特征也可以辅助于文字检测。利用卷积神经网络的平移位置不变性,我们提出可以在文字检测和文字识别之间共享输入图像的特征图谱(向量)。由于只使用深层卷积神经网络提取一次输入图像的特征图谱,因此其可以提高场景文字识别的速度。综上所述,本文提出的场景文字识别算法拥有以下创新点:(1)通过在文字检测与文字识别之间共享卷积特征图谱,可以将文字检测与文字识别整合成一个统一的神经网络。相对于传统的算法,我们的模型在一次前向传播过程中可以检测和识别出整张图像中的文字,避免了中间的一些冗余的步骤,比如特征图谱的重复计算,文本框的裁剪等。此外本文提出的场景文本识别网络是一种端到端的可训练的神经网络。为了训练这个统一的神经网络,只需要原始的自然场景文字图像,文字边界框坐标及相应的转录文本(文本标签序列);(2)与传统的场景文本识别方法相比,本文提出的方法具有更高的识别效率。经过在ICDAR2015数据集上验证,我们提出的算法可以显著提高场景文字识别系统的速度。在大多数情况下我们的模型识别一张图像只需要0.3s。