基于二值神经网络的轻量化文字识别方法研究

来源 :天津师范大学 | 被引量 : 0次 | 上传用户:JGTM2000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着近几年深度学习的迅速发展,涌现出了许多非常优秀的深度神经网络模型。在数据规模不断增加的情况下,这些模型的性能得到持续提高,标志着人工智能进入了新的时代。深度神经网络模型在OCR(Optical Character Recognition)上也被广泛应用,对文本的检测和识别任务有巨大的性能提升,从而可以催生出更复杂OCR应用场景。同时以手机、电子产品和云服务等为代表的服务载体加快了OCR的普及,全面推进了OCR技术产业化的加速落地和持续性发展。然而,这些复杂的深度神经网络模型需要很高的存储容量,并且会造成计算资源的巨大消耗,难以满足快速、准确的现实应用需求。因此,如何在不影响准确性的条件下,设计一个能够在移动设备的有限硬件约束下运行的较小模型是一个关键的挑战。为了解决这一问题,本文将二值化神经网络应用于文字识别中,把模型的权重限制到+1和-1两种值,然后使用全精度网络模型对二值神经网络进行知识蒸馏来提高识别精度,最后将模型进行量化并部署到Android系统上,实现了二值神经网络在文字识别上的初步应用。本文的主要工作如下:(1)提出了一种基于二值神经网络的CRNN(Convolutional Recurrent Neural Network)文字识别模型。该模型首先使用二值神经网络作为主干网络来提取图像特征,然后将特征输入到双向LSTM(Long Short-Term Memory)网络继续提取文字的序列特征,最后经过CTC(Connectionist Temporal Classification)算法将输入和输出的长度对齐进行损失函数的计算得到最终的文字识别结果。该模型大幅降低了对计算资源的需求,提高了识别速度。(2)提出了基于FSP矩阵(Flow of Solution Procedure)的二值神经网络知识蒸馏方法。通过对不同网络中的特征图计算内积得到FSP矩阵,用来定义不同层之间的变化过程,然后将教师网络与二值神经网络对应的FSP矩阵使用L2-loss计算损失函数,使知识能够从教师网络蒸馏到二值神经网络中。该方法可以缓解二值神经网络的信息损失,帮助二值神经网络提取到更有效的特征,从而提高文字识别的精度。(3)设计并实现了基于QAT(Quantization Aware Training)量化方法的模型部署。使用深度学习推理框架MNN(Mobile Neural Network)将识别模型使用量化感知训练方法通过伪量化过程得到最优量化模型,来减小模型体积,提升推理性能。设计了一个简单易用的轻量化文字识别App,在手机端实现了文字识别的功能。
其他文献
由于渣浆泵的叶轮叶片结构对其水力性能具有重要的影响,进而影响煤炭的洗选质量。基于此,为提高渣浆泵的水力性能,对其叶轮叶片结构进行一定的优化设计。在优化设计的两种方案中,经过仿真分析,发现均可提高渣浆泵的扬程及效率,同时增加了轴功率的消耗,对渣浆泵的结构设计及优化具有重要的应用参考意义。
期刊
报纸
2002年的“夫妻忠诚协议第一案”牵涉到夫妻忠诚协议的效力认定问题。我国《民法典》婚姻家庭编中虽规定了忠实义务,但并没有关于夫妻忠诚协议效力的相关规定,法律规范的缺失导致司法实践中法院在认定夫妻忠诚协议效力的歧见纷呈。《民法典》464条第2款的变动,突破了原《合同法》第2条“有关身份关系的协议,适用其他法律的规定”,为参照适用《民法典》合同编解决夫妻忠诚协议衍生出的相关问题提供了可能的空间。故此,
学位
基层政府作为我国行政系统的“末梢”、政策落实的“最后一百米”,与社会公众直接互动,职责广泛、责任重大。经济社会的发展、改革的不断深入、乡村振兴等战略的实施,使基层政府收获了更多的政策倾斜,迎来了千载难逢的机遇,与此同时,更多的挑战也伴随着机遇而来。工作任务不断增加,使得现有正式编制人员已无法满足基层政府开展工作的需要。党的十八大以来,我国行政体制改革取得了突出成就,在党和国家机构改革的整体推动下,
学位
自上世纪七十年代末开始,我国全面推行了计划生育政策,该政策的实施在相当长一段时期内使我国人口增速过快的趋势得到了明显缓解,但同时也导致我国的家庭组成形式发生了根本性的变化,大量的独生子女家庭由此产生。然而独生子女家庭本质上属于风险家庭,当一些家庭中的独生子女由于疾病或意外事故等原因不幸离世时,便会衍生出一批特殊的家庭,即失独家庭。近年来,随着我国人口结构老龄化进程的加快,越来越多的失独家庭正面临着
学位
夫妻共同债务的司法认定是夫妻债务纠纷案件中的难题之一,尽管我国民事立法和最高人民法院的司法解释作出了相关规定,但是,在夫妻债务纠纷案件中,仍存在较多问题。基于此,本文对该问题予以探讨。论文在查阅、整理、汇总归纳了夫妻共同债务司法认定相关文献的基础上,运用案例分析法,从司法实践情况出发,通过梳理汇总2019年至2021年最高人民法院和中级人民法院所作出的关于夫妻共同债务认定问题的裁判文书,以《最高人
学位
随着科技的不断发展,犯罪手段愈发多变复杂,且赤足作案的案发几率也有着不断上升的趋势。如果能够从足迹中获取犯罪嫌疑人的相关信息,可以准确高效地锁定犯罪嫌疑人。赤足足迹生物信息挖掘研究可以分为两部分,第一部分是通过足迹来锁定身份,即通过足迹比对验证身份,称之为身份识别;第二部分是挖掘嫌犯的生物特征信息,如年龄、性别、身高、体重等,称之为生物特征挖掘。但是由于足迹特征模糊、成因复杂、机理不明,刑侦人员需
学位
近年来,我国公司债市场不断发展,债券融资成为了公司融资的重要渠道。但随着中国宏观经济下行压力加大等因素的影响,市场中的信用风险被不断释放,债券违约涉及的金额和主体规模呈现出整体上升趋势,2020年全年新增违约主体28个,77只债券发生违约,涉及金额高达656.21亿元。同时,汽车行业作为我国经济的战略性、支柱性产业,一直以来存在着自主品牌核心竞争力不强的“通病”,并受到新能源产业的影响,正面临着产
学位
公益诉讼案件法条自动推送作为智能司法案件处理中的必要环节,可有效提升办案人员效率,避免由于人为因素所导致的量刑错误,在维护社会、国家公共利益等方面具有重要意义。然而,公益诉讼案件文本相比于其它通用领域文本,具有内容复杂、语法灵活多变以及法律专业术语多等特点,严重制约了案件语义信息的挖掘与特征信息的提取,降低了法条推送的准确性。因此,如何解决公益诉讼案件文本语义信息理解困难与特征提取能力不足是保证法
学位
生态环境是无可复制的公共物品,用之不觉、失之难存。探索绿色低碳发展方式、统筹资源节约和环境保护为一体,是实现经济社会高质量发展的重要目标。财政作为连接经济、社会和生态三大系统的关键节点,是生态环境治理的基础和重要支柱。研究生态环保领域现有财政支出政策、分析财政环保支出投入变化情况、探讨政策可能优化路径,对保障经济健康运行和提升人民生活幸福感具有重要意义。为此,本文分别从文献研究、理论分析、现状分析
学位