本文对深度学习在自然场景文本检测识别中的应用进行了深入研究,分别就训练样本、文字检测、字符识别三个关键问题进行了探索,并有针对性的提供了解决方案,提出了一种基于YOLO-v3神经网络的自然场景文本识别系统。主要做了三个方面的工作:(1)针对深度学习网络训练样本数量不足的问题,制作了一个文本生成器用来生成海量的文本图像。本文首先总结了自然场景的文本特征,设计了一个能模拟生成自然场景文本图像的功能模块,从而自动生成系统的训练样本,解决了训练样本欠缺的难题。(2)针对自然文本图像检测的字符多变,对YOLO-v3神经网络在检测过程中重新确定anchor个数和宽高比率,对自然场景下的字符候选框进行聚类分析;在网络结构上去除了YOLO-v3原有一个feature Map为52*52的detection,通过去除该detection可以在保证精度的条件下有效加快YOLO-v3模型处理图像的速度。在训练过程中,自适应调整图像大小,通过不同大小图像的训练提高模型检测的泛化能力。(3)针对中国汉字的识别与手写数字识别的不同,本文对传统的LeNet-5进行了改进。基于LeNet-5,修改图片大小由原有的28*28变为64*64,符合自然场景下汉字的普遍大小。因为本文研究的汉字的种类有3755,为了应对这种多分类任务,让网络获取足够多的个性特征,本文基于LeNet-5的7层结构扩展到11层结构。这些卷积层与LeNet-5中卷积层的区别在于经过卷积只改变滤波器数量,不改变图像大小,通过这些卷积层,可以在原有的模型中扩充其特征的学习,以保证该模型能学习到更多的信息,保证最后的汉字分类的准确性。虽然论文在自然场景文字识别中就样本生成、文本检测、字符识别三个方面做了一些工作,提高了自然场景中的文字检测识别性能,解决了一些问题,但由于自然场景的变化多样性、复杂性,该系统仍然有很大的提升空间,仍然需要大量的研究和探索,技术是不断发展进步的,相信不久的将来自然场景的文字检测识别系统一定能得到更好的实际应用。