随着微信、QQ等聊天软件的普及,网络社交已成为人们日常生活的一部分,表情图片也因其丰富的表达能力而在交流中被大量使用。如果不能在海量的表情图片中快速找到自己需要的图片,势必会影响聊天过程,甚至可能产生误解与分歧,据此,本文探索构建了一个文图自动匹配的系统。该系统通过分析文字内容可以帮助人们快速定位表情图片,从而改善聊天过程,让网络社交更加快捷、智能、生动。构建系统需要使用OCR技术对表情图片中的文字进行准确识别。相较于统计机器学习模型,由深度神经网络实现的基于文本区域识别-文本字符识别的双阶段范式由于具有更强的函数表达能力而成为当前OCR技术实现的主流方法之一。在文本区域识别阶段,由于表情图片文本长度的变化范围非常大,传统的文本区域识别模型无法对文本区域进行精准提取,冗余或缺乏的区域将严重影响后续的识别效果。对此,本文设计了基于目标检测的文本区域检测模型TDRR。TDRR由尺寸变换模块、特征提取模块、双向GRU、候选区域类别层以及候选区域垂直回归层等部分构成。通过将表情图片分解为多个固定宽度的检测区域,TDRR可对文本线进行精确求解,从而实现对文字区域的准确位置标定。在ICDAR2017-MLT数据集上的对比试验结果表明,相比其他区域检测模型,TDRR在精确度、召回率和f测度三个指标均表现最优。在文本字符识别阶段,表情图片中的字符之间具有语义序列依赖关系,而传统的识别模型仅对空间特征进行处理,忽略了对时间特征的抓取,从而导致识别准确率不足。为了解决上述问题,本文设计了基于时空域联合神经网络的文字识别模型SJNN。SJNN由空间域处理模块、时间域处理模块和转录处理模块等构成。通过对图像进行空间域信息和时间域信息的双重抓取,SJNN实现了对文本时空特征的建模,实现了对表情图片中文本区域的高准确率识别。在自制数据集和ICDAR2017-MLT上的对比实验结果表明,基于双向LSTM的SJNN具有最好的识别效果。基于上述两种模型,本文设计并实现了一个社交软件表情智能选择系统。系统包含表情图片收集、图片字符处理、输入和输出等模块。首先,系统在图片收集部分实现了本地导入、本地预储存以及爬虫抓取三种方式。其次,在表情图片的字符处理部分,系统使用了TDRR和SJNN模型进行字符自动识别,并将识别结果与图片进行关联。最后,系统可根据用户的输入信息,并结合其历史习惯,向其智能推荐匹配的表情图片。