自然场景中的文本识别已经成为计算机视觉和模式识别领域的活跃研究领域。完整的识别过程包含场景文本检测和场景文本识别,即从图片中检测出文本实例,再用识别网络识别,本文只研究识别过程。本文以自然场景中低质量文本图像作为研究对象,针对不同的低质量文本图像,分别提出了三个模型来解决对应的问题。基于超分辨模块的场景文本识别模型。考虑到光学退化、拍摄时的抖动等原因,导致了字符形状的模糊,产生了低分辨率的文本图像。使用超分辨模型对低分辨率图片进行预处理,得到的超分辨率图像再输入到识别网络中。在语义信息的基础上,使用语义信息增强器把语义信息解释为图像特征,从而将语义引导的影响作用于图像特征域中的相关空间位置。实验结果表明了提出的超分辨模型取得了很好的性能。基于语言模型的场景文本识别模型。考虑到由于遮挡问题,文本图片会缺少部分视觉信息,识别网络难以根据视觉信息准确识别文本。语言模型包含了丰富的语言先验知识,使用语言模型生成初始预测的语义信息,然后使用注意力机制获得多模态的增强特征。另外,对视觉线索使用掩码策略,来刺激语义组合。最后,两个增强后的多模态特征使用门控单元进行融合,进行最后的预测。实验结果证明了提出的语言模型对场景文本识别模型性能的提升。基于校正网络的场景文本识别模型。考虑到自然场景中文本形状多样、图案扭曲等影响,识别不规则场景文本仍然具有挑战性。本课题设计了一个校正模型来对文本图像进行校正。不同于传统的校正方法只在图像层面进行校正,这一部分还在特征级别进行校正。校正机制包含三个部分:图像级别的全局和局部校正模块以及特征级别的细化校正模块。三个模块逐步工作,产生更准确的校正结果。通过渐进式校正,逐渐缓解了文字的变形,抑制了背景的干扰。因此,识别网络可以专注于信息区域。与其他校正方法的对比表明了提出的校正机制的有效性。