自然场景文本检测与识别研究是计算机视觉领域的一个重点研究方向。现今对规整的扫描文本的检测识别技术已经达到了先进水平,但对于自然场景中的文本检测和识别,由于自然场景下字体本身和背景复杂度很高,故对于自然场景文本的检测与识别的研究仍面临技术难题,是一项具有挑战意义的课题。本文主要研究内容如下:(1)通过分析自然场景文字本身复杂多样,如扭曲变形、多颜色、字体模糊等特点,背景亦复杂多样,如背景颜色多样、图像分辨率过低、背景遮挡文字等问题。针对自然场景本身复杂度较高的特性,本文提出一种基于深度学习的自然场景文本检测和识别算法,可以对自然场景文本进行多方向、多尺度的检测与识别。(2)针对自然场景文本方向不定、尺度不一等特点,提出一种多方向自适应感知区域候选网络的自然场景文本检测方法,该方法通过对anchor机制进行改进并引入一个多方向的ROI Align池化层,可以同时检测多方向、多尺度的自然场景文本,具有较高的检测精度和效率。(3)针对自然场景文本文字和背景复杂度高而导致难以识别的情况,提出一种基于连接时间分类和注意力机制的场景文本识别方法。该方法将自然场景中的文本识别问题转换成一个序列识别问题,避免了对字符分割困难导致整体识别性能降低的弊端。同时,引入的注意力机制,可以降低网络复杂度,提升识别准确度。(4)对自然场景文本检测与识别方法由整到分的结构对本文模型效果进行验证。首先,对模型的整体检测和识别效果进行验证;其次,分别对自然场景文本检测模块、识别模块进行模块化验证。最后,通过在IC13、IC15、RCWT等多个数据集上验证,证明本文提出的自然场景文本检测和识别方法可以有效的完成自然场景文本中检测和识别任务。此外,设计了一个自然场景文本检测和识别系统,通过输入场景文本图像,实现对图像进行可视化的检测和识别。