随着互联网的发展,海量的图片信息充满了人们生活的方方面面,利用计算机自动有效地识别图片中的文本内容对于提高多媒体检索能力、场景理解能力以及网络信息平台管控效率等具有重要意义。目前,关于自然场景下的中英文检测与识别方法已有很多,而对于维吾尔文的检测与识别尚处于探索阶段,还没有相对完善的理论方法。本文基于深度学习技术,对自然场景图像中的维吾尔文检测与识别进行研究,以实现一种高效的维吾尔文识别系统,主要研究内容如下。1.研究了Synth Text自然场景文本图像合成方法,人工生成了一个维吾尔文图像数据集,有效解决维吾尔文检测实现过程中训练样本稀缺的问题。该方法根据原始背景图像的分割信息与深度信息筛选出合适的文本嵌入区域,将文本目标自然嵌入到背景图像中,人工合成类似自然场景下的文本图像。但由该方法合成的文本图像存在丢失维吾尔文连写特征的缺陷,针对该问题,使用PIL图像处理库绘制了一批具备连写特征的维吾尔文图像作为合成数据集的补充。2.研究了CTPN和EAST两种文本检测算法,并分别使用这两种算法进行了维吾尔文检测实验。实验结果显示,CTPN能较完整地检测较长的维吾尔文,但对倾斜文本的检测效果较差;EAST能检测任意角度的文本,并且检测速度较快,但在检测较长的维吾尔文时出现检测不完全甚至丢失的情况较多。此外,CTPN在测试集上的F-measure高于EAST,并且能更好地检测维吾尔文字符周围的点,最终选用CTPN模型作为维吾尔文检测的基础模型。3.研究了基于attention机制和基于CTC损失函数的两种主流文本识别框架,选用CRNN+CTC的文本识别方案进行维吾尔文识别。由于维吾尔文字符具有自右向左的书写特点,而CRNN网络对图像的特征提取顺序为自左向右,造成CTC输出的维吾尔文序列与正确的标签序列顺序相反,导致训练错误的模型。为此,本文对CTC的输出部分进行了改进,设计了符合维吾尔文书写顺序的字符排序规则,使网络输出正确书写顺序的维吾尔文序列,从而正确训练模型,实现对维吾尔文的识别。数据集为使用PIL图像处理库人工生成的800万张尺寸为280?32的维吾尔文识别图像。实验结果显示本文训练得到的CRNN＿CTC模型在测试集上的维吾尔文识别准确率为64%。经过上述研究,本文设计并实现了一种基于深度学习的维吾尔文识别系统。该系统主要包括:图像预处理模块、维吾尔文检测模块、文本图像倾斜校正模块和维吾尔文识别模块共四个模块。其中,维吾尔文检测模块和识别模块分别由CTPN模型和CRNN＿CTC模型实现。对该维吾尔文识别系统进行了实验测试,在单个NVIDIA GTX 1080Ti GPU上同时运行4个进程时,每个进程的单张图像平均识别耗时为0.663s。