OCR的应用场景广,相关商业产品非常多,但是基于深度学习OCR模型在边缘设备中如何做到实时推理缺乏公开化的研究。基于深度学习的OCR模型通常由CNN和RNN/LSTM构成,模型计算量大、权重参数多,导致在边缘设备上推理OCR模型需要大量的计算资源才有可能达到性能要求。CPU和GPU这样的通用处理器无法同时满足处理速度和功耗要求,并且成本非常高。随着深度学习的普及,神经处理单元NPU在许多嵌入式和边缘设备中变得普遍,它具有高吞吐量和卓越的计算能力来处理神经网络所涉及的矩阵运算。在本研究中,利用压缩算法对OCR模型进行压缩,减小其网络冗余度和内存大小,然后将压缩后OCR模型部署在NPU上,并且根据OCR模型的网络结构进一步设计加速策略,满足OCR模型在AIoT芯片上的实时推理需求。具体工作如下:（1）本文提出了基于块的细粒度权重剪枝,解决了权重剪枝在边缘设备中带来的工作负载不均衡和剪枝率低的问题,并且采用动态渐进剪枝法,在模型训练过程中动态地更新修剪阈值,从而恢复原始模型的精度。（2）单个压缩算法的压缩效果有限,本文将剪枝和量化两种压缩算法相结合,采用基于KL散度模型量化方法,解决了硬件上浮点运算困难,以及参数分布不均衡产生极值对量化造成误差的问题。（3）根据OCR模型的网络结构进一步设计加速策略。针对神经网络加速器无法对LSTM层进行运算,提出了一种能量化部署LSTM层的方法,将LSTM转化成加速器能处理的常规层。由于在硬件上实现精确的非线性函数是相当困难的,所以使用分段多项式拟合和LUT查找表相结合的方式获取激活函数运算结果,提高模型在硬件设备上的推理速度。实验结果表明,通过剪枝-量化的压缩的方式可以将OCR模型的32位浮点型参数量化成8位,并且剪枝率达到78%。综合模型精度、模型大小和模型推理时间的比较,在模型精度下降不到3%,文字检测CTPN模型大小从67.6MB压缩为12.52MB,与在CPU和GPU上的实现相比,NPU在延迟上分别实现了36.35倍和7倍的加速;文字识别CRNN模型大小从15.87MB压缩为3.13MB,而与CPU和GPU相比,CRNN模型在NPU上延迟分别实现了28.87倍和6.1倍的加速。