现今社会,手机拍照已经成为人们记录生活的主要方式,而一副图片里面除了包含物体信息以外,也往往包含着丰富的文本信息。如果能按照人们意向将手机拍摄的图片里面的文本信息提取出来,将非常有助于人们获取更加有效的信息内容。但是这里有诸多难点需要解决。从检测角度来讲,场景文本的方向是任意的,而不是固定的水平方向,并且它们的尺寸也大小不一,此外现今手机拍摄的照片像素常达上千万。这些都为模型训练的精度以及推断速度带来挑战。从识别角度来讲,不同于单纯的英文文本识别,英文只有26个字符,而汉字的类别诸多。其次,场景文本中汉字的字体类型各异,比如各类艺术字等。再加上文本信息复杂的背景,这些都为汉字文本的识别带来巨大困难。本论文选取的场景是室外街道诸多店面信息以及其他室外建筑、路牌上的文本信息。从实际应用的角度思考,有两个大的方向需要均衡兼顾。其一是从模型大小和速度方面考虑,我们希望模型能够越小越好,推断速度能够越快越好,以便在移动端部署和应用。其二是希望检测识别出来的效果能有较高的准确度。从以上两个实际应用的角度考虑,本论文完成的研究内容如下:1.检测模型的轻量化。本论文文本检测模型是在一种基于尺度渐进扩张算法的模型基础上进行优化的,采用原模型训练出来的模型大小达到700MB,这非常不利于模型的部署,因此在不降低模型精度的前提下,对该模型进行优化,将其主干网络替换成更加轻量化的网络结构,最终模型大小缩小了十多倍,推算速度也有明显提升。2.对任意方向稠密文本检测能力的提升。手机拍摄的图片像素非常大,只能通过缩放来训练然后检测识别,但是缩放后的图片难免导致原本小文本更加难以检测,采用原模型固定的设置虽然对任意方向稠密文本检测有所帮助,但是在手机拍摄出来的街道场景下,缩放后依旧有部分任意方向的稠密文本难以检测或者检测出现黏连的情况。基于此,本论文将其相应部分做优化,从而提升相应稠密类小文本的检测能力。3.文本识别部分通过生成仿真数据来增强模型鲁棒性。文本识别部分,由于室外店面、室外建筑以及路牌上的汉字文本信息种类繁多、字体各异,如繁体、艺术字等,另外文本的背景信息也丰富多样,如果仅仅通过训练集并不能覆盖所有情况,因此采用生成仿真数据的策略,来尽可能覆盖所有可能出现的文本信息,从而大大提升识别效果。