论文部分内容阅读
电子病历(Electrical Medical Record,EMR)是医疗健康大数据的重要组成部分。一份电子病历由医护人员记录,通常包括数值化数据,医疗图像以及描述性文本。对电子病历进行分析利用对提升医疗服务水平具有重要意义。对电子病历中描述性文本的分析与处理依赖于电子病历的中文分词结果。与英语类语言不同,汉语语言使用字符表示语言实体,不同的字符组合表示不同的语言成分,如单词,主语,谓语,副词等。汉语常用字符约为5,000个,不同的字符组合表示了丰富多彩的汉语词汇。在应用自然语言处理技术处理中文电子病历中的描述性文本时,一个基本的前提是从中文字符序列中提取出相应的单词序列,并基于单词序列进行后续的词性标注、语义角色提取、文档分类等分析任务。随着电子病历的大量产生,如何有效的处理中文电子病历是一个急需解决的难题。中文分词作为中文自然语言处理的基本任务,得到了广泛的研究。学术界提出了一系列方法,并在公开数据集上取得了良好的效果。传统分词算法多基于有监督的学习方式,训练与测试数据集一般是来自于新闻等领域的语料。语料规模相对较小,但标注难度大。算法推广应用到其他领域,如医学、法律、金融时,面临着领域迁移的难题。在获取特定领域的标注数据时,需要一定的专业知识。专业知识的缺乏将导致标注数据的质量下降,进而影响分词算法模型的质量。此外,随着中文互联网的快速发展,新兴词汇不断涌现,对分词算法的新词识别能力提出了挑战。本课题提出一种基于条件随机场(Conditional Random Field,CRF)半监督词典分词算法处理医学领域的中文分词任务。基于CRF的分词算法将中文分词任务视为序列标注问题,由输入的变量序列预测对应的标签序列。算法要求训练数据中每个样本观测变量序列对应一个唯一的标签序列。本课题提出的半监督学习算法降低了对训练数据的标注强度,允许一个观测变量序列对应多个标签序列。通过弱标注的数据学习得到模型参数。在获取弱标注的数据时,采用双向最大词典匹配的方法。对同一个字符序列,利用词典进行正向最大和反向最大匹配,获取同一字符的两种单词切分序列,取二者交集作为强标签部分,差集作为弱标签部分。通过词典的方式获取训练语料,引入了词典信息,训练得到的模型可有效解决领域迁移与新词识别的难题。实验结果表明,半监督分词算法应用于中文病历文本分词时,可获取93.38%的F值。利用半监督CRF的分词结果,本课题提出一种基于隐式狄利克雷分布(Latent Dirichlet Allocation,LDA)的医学病历文本分类算法。利用半监督CRF算法对病历文本进行分词处理后,由LDA学习电子病历的主题向量。在学习得到的主题向量空间中,利用逻辑回归(Logistic Regression,LR)学习分类模型。实验结果表明,在少量人工参与的情况下,本课题提出的电子病历分类算法可取的81.1%的分类准确度。