随着多媒体信息技术的发展,越来越多的信息以图像的形式进行传播,对图像中的文本信息进行检测与识别的相关研究也愈加受到重视。场景文本检测与识别指的是在自然场景图像中检测与识别文本信息,其在图像搜索、无人驾驶系统、智能交通系统等领域有着重要作用。传统的光学字符识别技术日趋成熟,但由于自然场景环境的复杂性、文本的多样性等因素,场景文本的检测与识别面临着很大的挑战。近年来,深度学习得到快速发展,凭借其优异的性能,越来越多的深度学习模型被应用到场景文本检测与识别中。论文对自然场景下文本检测与识别技术进行了深入研究,利用深度学习的方法,在场景文本检测方面,提出了一个基于双通道残差的文本检测算法,在场景文本识别方面,提出了一个基于Transformer的文本识别算法,具体内容如下:基于双通道残差的文本检测算法。为提高检测算法对于任意形状文本的检测鲁棒性,论文采用语义分割的思想进行文本检测,提出了一种基于双通道残差的场景文本检测算法,检测算法分为基础网络、特征融合模块、语义分割网络以及后处理四部分。在基础网络部分,为提高网络的推理速度,选择Res Net18、Mobile Net V3、Shuffle Net V2三种轻量级的卷积网络进行对比实验;在特征融合模块部分,使用特征金字塔对基础网络得到的语义信息进行特征增强和融合,然后将得到的特征图进行concat操作并连接通道注意力层与空间注意力层;在语义分割网络部分,提出了一个名为双通道残差的网络结构,对图像中的每一个像素进行分类,生成概率图;在后处理部分,将生成的概率图转换为二值图,并利用Open CV中的函数从二值图中提取文本轮廓。论文提出的检测算法最终在开源数据集ICDAR2015中获得了88.99%的准确率和80.16%的召回率以及84.35%的f-measure,在开源数据集CTW-1500中获得了83.31%的准确率和77.23%的召回率以及80.15%的f-measure。实验结果表明论文提出的检测算法对于任意形状文本具有较强的鲁棒性,相比于其他主流的检测算法,其在推理速度方面有一定的优势。基于Transformer的文本识别算法。为了提高识别算法对不定长文本的识别准确率,论文将NLP领域的Transformer网络应用到文本识别算法中。识别算法首先利用CNN将原始图片转换为序列,然后分别用LSTM和Transformer Encoder对序列进行编码,最后利用Transformer Decoder进行循环解码以获得文本信息。论文提出的识别算法在开源数据集ICDAR2013和ICDAR2015中,分别获得了91.6%和82.4%的准确率。实验结果表明Transformer结构能够有效提高场景文本识别的准确率。