在自然场景下,人们每天都会接触到特别多的图像,比如广告、宣传海报、路边指示牌、门牌号等等,在这些图像里面,包含了人们所需要的大量文字信息,通过对图像中文字信息的传递,可以使人们交流变得更加方便,也可以更好的去了解这个世界。然而,自然场景下的图像具有以下特点:文字语言不同、字体大小不同、排布方向不同、背景信息的干扰,同时图像也常常会受到光线、遮挡等外部因素的干扰,而造成的清晰度不高等等特点。传统的OCR技术目前可以达到很好的准确率,然而它需要图像中文字非常的规整,背景与文字的可分开性高,所以从自然场景图像中提取文字信息是一件非常具有挑战的研究工作。根据自然场景图像的特点,采用目前广泛研究的深度学习方法,从文字检测和文字识别两个方面着手,接下来就是具体的研究工作:(1)文字检测的工作是将图像中文字区域给标注出来,而针对同一文本线上的文字,它的大小、方向、距离都是不同,所以认为预测文字的竖直方向要比水平方向更加容易,最终采用的是CTPN文字检测算法,CTPN是一个基于CNN和RNN结合的检测算法,利用CNN卷积操作提取图像特征,RNN对字符序列的特征识别。(2)完成了文字检测工作后,需要识别标注出来的文本框,本文首先采用的是卷积神经网络DenseNet进行文字识别,针对其它卷积神经的分类对比,可以发现DenseNet最大的特点在于密集连接,能够缓解一定程度的梯度消失问题,还能减少参数量,使计算速度更快,识别效率更高。最后使用CTC算法对识别出的单个字的序列进行切分和整合工作。自然场景文字识别系统在基于Tensorflow和Keras的深度学习框架上实现运行计算,根据训练和测试的过程,能够很好的识别出自然场景图像中的文字信息,和其它方法相比较,文字的识别率得到了提高,表明出CTPN+DenseNet+CTC对自然场景图像的文字识别有比较好的效果。