论文部分内容阅读
最近几年,人工智能发展迅速,越来越多的专家学者都投入到这个领域中来,使得该领域发展迅速,出现了各种各样的应用,这其中计算机视觉是人工智能的先头阵地。在计算机视觉的任务中,自动抽取和理解文档中存在的数学公式一直是一个难题。因此开发一个数学公式识别切割系统以实现自动化处理数学文档是一件有意义和重要的工作。本文主要的研究对象是离线数学公式的识别与切割,离线强调了我们收集到的数据集是纯像素的图片进行存储,它不像在线数据那样具有空间数据以及时间数据,所以在识别难度上更高。传统的识别方法是都是基于人工去提取公式特征,这样做一般情况只能应对有限的数据情况,对于离线数据这样的数据集,其中需要考虑到光照、笔迹走向、有效笔迹周围的复杂环境等,这些情况都是传统方法所不能处理的。除了考虑环境问题,我们还必须考虑数学公式本身所具有的特性,数学公式中不同于自然语言字符,自然语言字符一般都是线性结构,在识别过程中我们仅需考虑一维方向,而数学公式中包含着分式这样的上下结构以及根式这样的半包围结构,这就要就我们不仅要正确识别数学符号,还得正确解析数学公式的结构关系,这也是目前该领域所面临的难点。本文重点针对真实场景下的初等数学教育领域的手写数学公式进行识别切割,提出了一种基于Faster-Rcnn的数学公式识别切割系统,阐述了如何对收集到的数据集进行手工标注并训练Faster-Rcnn网络,包括训练参数以及训练效果等。在原有Faster-Rcnn网络的基础上,我们提出了一个预训练模型增强的方法,使用该方法可以将模型的精度提高1.9%,该方法使用编码解码架构进行模型预训练,使得网络在迁移学习时能够更快,更好的应用于数学公式的识别切割。其次,我们在系统的最后阶段加入了一个基于CNN的回归模型帮助纠正系统所遗漏的公式信息,增加了系统的识别精度。最后我们利用系统检测到的坐标信息完成对数据集中的数学公式的识别切割。在文末,我们给出了真实数据集下的测试结果分析。在1600张图片(包含8435个公式区域)组成的测试集上进行验证,精度上取得了 87.8%的公式识别率,91.4%的切割正确率。