近年来多家医院的病历管理方式都在向电子化病历管理系统的方向发展,但很大一部分医院依然储存了大量旧的病历档案,这些病历文件多以打印文档、手写表单、扫描页面等形式存储,以供记录患者信息和科学研究之用。因此,研究自动化的病历处理方法在医疗领域具有重要意义。由于医学相关扫描文档页面十分复杂,就文本来说包括手写文本和机器打印两种文本,此外还存在对比度不足、字迹模糊等问题,使得病历文件自动化分析与处理非常具有挑战性。本文提出了一个通用的病历文本识别模型,可以同时识别扫描文件中手写和机器打印的文本,省去了对文本进行分类的步骤。本文的主要工作有:(1)构建了一个病历图像数据集(Medical History Database,MHDB),该数据集共有11815张病历图像。病历图像包括从北京协和医院、中国人民解放军总医院、青岛市市立医院、北京大学人民医院等11家三甲医院获取的手术记录2541张、病程记录2458张、病理图像诊断报告3462张、化验报告单4354张,共计11815张病历图像。针对手写体字符和印刷体字符位置分别进行标注,得到ground truth。从病历图像中选取20种不同光照条件下的纸张纹理作为背景。收集印刷体常用字体14种和不同书写风格的汉字手写体字符260种。用图像处理技术将印刷体字符和手写体字符分别粘贴在纸张纹理背景上,并加入透视、扭曲、模糊等变换,制成包含3000000张文本行图像的文本识别数据集。(2)提出了一个文本检测模型TLDC(Text Line Detection and Classification)。TLDC模型在进行文本检测的同时,可以对手写体和印刷体文本进行分类,避免了繁冗的先检测坐标后区分类型的步骤。同时,加入了对文本行包围框的高度矫正,很好地避免了文本行包围框误包含其它文本行的情况。针对病历图像中存在的对比度不足、字迹模糊等问题,在图像预处理阶段进行了病历图像对比度增强。对TLDC与其它几种文本行的检测效果在准确率、召回率、F-measure三个维度上进行实验对比,最终的实验结果证实TLDC在MHDB数据集上效果更好。(3)提出了一个基于Mixup数据增强的文本识别模型METR(Mixup Enhances Text Recognition)。该模型使用Densenet作为特征提取器,并且将BLSTM(Bidirectional Long Short-Term Memory)纳入文本识别模型中。利用CTC(Connectionist Temporal Classification)对标签与文本行图像进行自动对齐,实现了文本行的序列化识别,通过对模型输出的预测序列到最终标签序列的映射获取了最终的文本序列。这样的设计绕过了对文本行图像的字符级图像分割步骤,从而避免了由于字符分割中出现的错误向后积累导致的整体准确率下降。又通过在不同的位置加入Manifold Mixup策略缓解了手写体文本识别中训练数据不足的问题,提升了最终的识别准确率。