基于Faster-Rcnn的离线数学公式识别切割技术的研究与实现

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:jieyses1023
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
最近几年,人工智能发展迅速,越来越多的专家学者都投入到这个领域中来,使得该领域发展迅速,出现了各种各样的应用,这其中计算机视觉是人工智能的先头阵地。在计算机视觉的任务中,自动抽取和理解文档中存在的数学公式一直是一个难题。因此开发一个数学公式识别切割系统以实现自动化处理数学文档是一件有意义和重要的工作。本文主要的研究对象是离线数学公式的识别与切割,离线强调了我们收集到的数据集是纯像素的图片进行存储,它不像在线数据那样具有空间数据以及时间数据,所以在识别难度上更高。传统的识别方法是都是基于人工去提取公式特征,这样做一般情况只能应对有限的数据情况,对于离线数据这样的数据集,其中需要考虑到光照、笔迹走向、有效笔迹周围的复杂环境等,这些情况都是传统方法所不能处理的。除了考虑环境问题,我们还必须考虑数学公式本身所具有的特性,数学公式中不同于自然语言字符,自然语言字符一般都是线性结构,在识别过程中我们仅需考虑一维方向,而数学公式中包含着分式这样的上下结构以及根式这样的半包围结构,这就要就我们不仅要正确识别数学符号,还得正确解析数学公式的结构关系,这也是目前该领域所面临的难点。本文重点针对真实场景下的初等数学教育领域的手写数学公式进行识别切割,提出了一种基于Faster-Rcnn的数学公式识别切割系统,阐述了如何对收集到的数据集进行手工标注并训练Faster-Rcnn网络,包括训练参数以及训练效果等。在原有Faster-Rcnn网络的基础上,我们提出了一个预训练模型增强的方法,使用该方法可以将模型的精度提高1.9%,该方法使用编码解码架构进行模型预训练,使得网络在迁移学习时能够更快,更好的应用于数学公式的识别切割。其次,我们在系统的最后阶段加入了一个基于CNN的回归模型帮助纠正系统所遗漏的公式信息,增加了系统的识别精度。最后我们利用系统检测到的坐标信息完成对数据集中的数学公式的识别切割。在文末,我们给出了真实数据集下的测试结果分析。在1600张图片(包含8435个公式区域)组成的测试集上进行验证,精度上取得了 87.8%的公式识别率,91.4%的切割正确率。
其他文献
<正> 白居易是唐代继杜甫之后的又一伟大的现实主义诗人。他一生写了很多优秀的现实主义诗篇。从不同角度广泛地反映了中唐的社会生活和级阶矛盾。在这些诗中,战斗性和人民性
<正>白银市顺安村刘树军家庭刘树军是一名光荣的退伍军人。2000年,他和本村的李小梅喜结连理,婚后生活清贫却也幸福。2002年的秋天,李小梅被诊断出患有类风湿性关节炎,为给妻
本文分析了中国铁路运营管理系统的现状,简要介绍了国外发达国家铁路运营管理系统的现状与主要成就,提出中国铁路运营管理系统未来发展中应重点解决的问题和建议。
在社会快速发展和人们居住要求不断提高的当下,为了能够最大限度的优化合理利用城市当中有限的土地,为人们提供良好的居住环境,各种高层建筑的建设数量和建设范围不断增加。
<正>图谱作为一种有效的教具,被幼儿园教师大量应用于音乐活动中。作为一种工具,图谱有其独特性和普遍性,独特性在于其灵活、便利,可以形象生动地讲述事件的起因、经过与结果
从卫星导航系统监测站的需求出发,介绍监测站软件系统结构设计,从可靠性和实时性的角度论述软件采用的实现策略,详细讨论有关数据处理技术和主备机切换技术的具体设计和实现
本文介绍了种衣剂的基本概况,综述了我国中药材种衣剂的研究现状,包括中药材种衣剂的登记现状,中药材种子带菌检测及药剂消毒处理的研究现状,种衣剂对种子发芽和出苗、病虫害
<正>2016年11月4-7日,由杭州国际城市学研究中心(浙江省城市治理研究中心)、河南大学中原发展研究院主办,《浙江学刊》杂志社等单位协办的首届"两宋论坛"在杭州举行。来自中
西方二十世纪小说一个普遍的主题是对自我精神世界的探索。康拉德的《黑暗的心》和乔伊斯的《阿拉比》在主题上都展示了人物寻找“自我”的心路历程 ,在艺术上都采用了明暗对
本文以湖北警官学院为例,对涉外警务专业学生英语自主学习的状况进行调查和分析。通过分析学生在移动互联网络环境下英语自主学习的基本情况、自主学习策略以及对通过网络进